WO2017187795A1 - 制御装置、制御方法及び手術システム - Google Patents
制御装置、制御方法及び手術システム Download PDFInfo
- Publication number
- WO2017187795A1 WO2017187795A1 PCT/JP2017/008830 JP2017008830W WO2017187795A1 WO 2017187795 A1 WO2017187795 A1 WO 2017187795A1 JP 2017008830 W JP2017008830 W JP 2017008830W WO 2017187795 A1 WO2017187795 A1 WO 2017187795A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- intrusion
- arm
- area
- arm unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0801—Prevention of accidental cutting or pricking
- A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
- A61B2090/0811—Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45121—Operating microscope, mounted on manipulator arm
Definitions
- the present disclosure relates to a control device, a control method, and a surgical system.
- an observation instrument for magnifying and observing an operation part such as an endoscope or a microscope is supported by an arm part of a support arm device, and a doctor performs an examination or an operation while viewing an image taken by the observation instrument.
- a method has been proposed.
- a treatment tool such as a forceps or a retractor is provided at the tip of the arm portion, and the support arm device performs support and operation of the treatment tool that has been performed manually.
- the observation instrument or the treatment instrument provided at the tip of the arm portion of the support arm device is generically referred to as a medical instrument.
- the support arm device in which the observation instrument is provided at the tip of the arm portion is also referred to as an observation device.
- Patent Document 1 discloses a support system for a surgical system that performs a surgical operation by supporting a medical instrument with a manipulator and operating the manipulator.
- MRI Magnetic Resonance Imaging
- Patent Document 1 based on the three-dimensional information of a patient's surgical part imaged by an MRI (Magnetic Resonance Imaging) device, even if a medical instrument operates on the surgical part by the user. A good area or route is set.
- the position of the medical instrument is sensed, and a warning is issued when the medical instrument is likely to deviate from the set region or route. According to the technique, it is considered that a safer operation can be realized by avoiding a situation where the medical instrument comes into contact with an unintended part of the patient's body.
- the region or the route is set based on the three-dimensional information of the surgical site of the patient imaged in advance by the MRI apparatus. Since the situation in the body cavity of the patient at the time of actual surgery may not always match the three-dimensional information based on the information acquired before the surgery, in such a case, the technique described in Patent Document 1 is used. , Warnings may not work effectively and safety may not be secured sufficiently. In addition, in the technique described in Patent Document 1, only prevention of contact between a medical instrument supported by a manipulator (that is, an arm unit) and a patient's body is considered.
- a manipulator that is, an arm unit
- the arm unit is set so that the distance between the comparison reference point set for the obstacle and the comparison target point set for the articulated robot apparatus is maximized.
- the operation of the arm portion that avoids interference is realized.
- an industrial articulated robot apparatus for example, it is assumed that the same work is repeatedly performed in a flow work, and the positional relationship between the articulated robot apparatus and an obstacle to be avoided is considered to be substantially unchanged. Even with the drive control using the comparison reference point and the comparison target point set in advance, it is considered that a certain effect can be obtained.
- the present disclosure proposes a new and improved control device, control method, and surgical system that can further improve safety.
- the medical device or the The drive of the arm unit is controlled by the area setting unit that sets an intrusion propriety region on the space where the suitability of the intrusion of the arm unit is determined, and the non-contact operation on the arm unit by the user.
- An intrusion determination unit that determines whether or not the medical instrument or the arm part has intruded into the intrusion propriety area, and according to a determination result by the intrusion determination unit, the medical instrument or the arm unit.
- a control device including an action instruction unit that executes an intrusion suppression action for suppressing intrusion into an intrusion propriety area.
- the processor determines whether or not the medical instrument or the arm part is intruded based on a surrounding image showing a state around the medical instrument or the arm part supporting the medical instrument.
- the medical instrument or the arm with respect to the intrusion propriety area when the invasion propriety area to be set is set on the space and the drive of the arm part is controlled in accordance with a non-contact operation on the arm part by the user
- determining whether or not the medical device or the arm portion has entered the medical device or the arm portion according to the result of determining whether or not the medical device or the arm portion has entered the medical device. Performing a intrusion suppression action for suppressing intrusion is provided.
- a microscope unit that is supported by the arm unit and captures an enlarged image of the surgical unit
- a display device that displays an image of the surgical unit captured by the microscope unit, and the microscope unit or the Based on the surrounding image acquisition camera that captures a surrounding image showing the surroundings of the arm unit
- a drive control unit that controls driving of the arm unit, and the surrounding image captured by the surrounding image acquisition camera
- An area setting unit that sets an intrusion adequacy area on the space where the propriety of invasion of the microscope unit or the arm unit is determined, and the arm unit by the drive control unit according to a non-contact operation on the arm unit by a user
- An intrusion determination unit that determines whether or not the microscope unit or the arm unit has intruded into the intrusion propriety region and the determination result by the intrusion determination unit.
- the surgical system is provided.
- the intrusion suitability area is set based on the surrounding image indicating the state around the medical instrument or the arm portion. Then, when the driving of the arm unit is controlled in accordance with a non-contact operation by the user, an intrusion suppression action is executed depending on whether the medical instrument or the arm unit has entered the penetration suitability region.
- the configuration since the intrusion appropriateness area is set reflecting the actual surrounding situation, the intrusion appropriateness area can be set more appropriately, and the intrusion suppression action can be executed more appropriately. it can. Therefore, safer drive control of the arm portion can be realized.
- FIG. 1 It is a figure which shows schematic structure of the surgery system which concerns on this embodiment. It is a block diagram which shows an example of a function structure of the surgery system which concerns on this embodiment. It is a figure which shows an example of the surrounding image acquired with the camera for surrounding image acquisition. It is a figure which shows an example of the surrounding image with distance information. It is a figure for demonstrating an example of GUI for setting a penetration
- the support arm device is an observation device provided with an electronic imaging microscope unit having a function of enlarging and photographing a surgical part at the tip of the arm unit.
- surgery for example, brain surgery, ophthalmic surgery, cardiac surgery, etc.
- the technology according to the present disclosure may be applied to any type of support arm device regardless of the type of medical instrument supported at the tip of the arm portion.
- the medical practice to which the technology according to the present disclosure is applied is not limited to surgery, and may be various medical practices such as examination.
- the technology according to the present disclosure realizes higher safety in the drive control of the support arm device.
- the type of medical instrument supported at the tip of the arm unit and the content of the medical practice to which the technology is applied Regardless, it is possible to achieve the same effect.
- a user who uses a surgical system to be described later and a user who operates an observation apparatus to be described later will be described as an operator for convenience.
- this description does not limit the user who uses the surgical system and the user who operates the observation apparatus.
- the main body that uses the observation system and the main body that operates the observation apparatus are other assistants, nurses, and the like. It may be a medical staff.
- FIG. 1 is a diagram illustrating a schematic configuration of a surgical operation system according to the present embodiment.
- FIG. 1 a state in which an operator 201 is performing an operation on a patient 205 on a patient bed 203 using the operation system 10 according to the present embodiment is schematically illustrated.
- an operation system 10 includes an observation device 110, a display device 120, a surrounding image acquisition camera 130, a control device 140, a microphone 151, a glasses-type wearable device 152, A foot switch 153 and a motion recognition camera 154 are provided.
- the microphone 151, the glasses-type wearable device 152, the foot switch 153, and the motion recognition camera 154 function as an input device for receiving the operation of the surgeon 201 in the hands-free mode. Therefore, in the following description, these are collectively referred to as a hands-free input device.
- the observation apparatus 110 includes a microscope unit 111 and an arm unit 112 that supports the microscope unit 111 at the tip.
- the configuration of the observation apparatus 110 is illustrated in a simplified manner. A specific configuration example of the observation device 110 will be described in detail again in the following (4. Configuration example of the observation device).
- the microscope unit 111 is configured by storing an imaging device and an optical system for guiding light (observation light) from an observation target in the imaging device.
- the imaging element receives the observation light and photoelectrically converts it to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
- the microscope unit 111 is an electronic imaging type microscope unit that electronically captures an image.
- the microscope unit 111 transmits the acquired image signal to the control device 140.
- the optical system of the microscope unit 111 has a focus lens for adjusting the focal length and a zoom lens for adjusting the magnification.
- the microscope unit 111 is provided with a drive mechanism for moving the focus lens and the zoom lens in the optical axis direction.
- the focal length and magnification of the microscope unit 111 are adjusted by appropriately moving the positions of the focus lens and the zoom lens through the drive mechanism under the control of the control device 140.
- the microscope unit 111 is configured as a stereo camera having a pair of image sensors. That is, the microscope unit 111 acquires an image signal for 3D display.
- the arm unit 112 is configured by a plurality of links connected to each other by a plurality of joints so as to be rotatable. Actuators are provided in each joint portion, and the driving of these actuators is controlled by the control from the control device 140, whereby the posture of the arm portion and the position and posture of the microscope unit 111 are controlled. At the time of the operation, the posture of the arm unit 112 and the position and posture of the microscope unit 111 are appropriately adjusted so that the surgical unit 111 can be photographed by the operation of the operator 201.
- the arm unit 112 is configured to have a redundancy degree of freedom.
- having redundant degrees of freedom means having more degrees of freedom than the minimum degree of freedom necessary to achieve a desired position and orientation for the microscope unit 111.
- the arm unit 112 is configured to have a degree of freedom greater than 6 degrees of freedom (for example, 7 degrees of freedom or 8 degrees of freedom) with respect to the movement of the microscope unit 111.
- the redundancy degree of freedom for example, the arm unit 112 can be driven so as to change only the posture of the arm unit 112 in a state where the position and posture of the microscope unit 111 are fixed.
- the display device 120 is disposed at a position facing the operator 201 with the patient bed 203 interposed therebetween. Under the control of the control device 140, the display device 120 displays an image of the surgical part taken by the microscope unit 111 of the observation device 110. The surgeon 201 performs various treatments on the surgical site while observing the surgical site with images displayed on the display device 120.
- the display device 120 a glasses-type 3D display is used. As a result, stereoscopic vision is possible, so that the surgeon 201 can observe the surgical site more accurately.
- the specific configuration of the display device 120 is not limited, and various known display devices such as a liquid crystal display device or an EL (Electro Luminescence) display device may be applied as the display device 120.
- the display device 120 replaces the surgical site image or together with the surgical site image with various information related to the surgery (for example, physical data of the patient 205, results of examinations performed in advance, information on the surgical procedure, etc. ) May be displayed.
- This display switching may be executed in accordance with an arbitrary operation by the operator 201.
- the ambient image acquisition camera 130 is provided in the microscope unit 111 of the observation apparatus 110, and captures an ambient image showing the surroundings of the microscope unit 111 and the arm unit 112.
- the ambient image acquisition camera 130 is configured as a camera having, for example, a wide-angle lens so that images in as wide a range as possible can be taken.
- a plurality of surrounding image acquisition cameras 130 may be provided in the microscope unit 111 in order to obtain an entire surrounding image.
- the ambient image acquisition camera 130 transmits an image signal related to the captured ambient image to the control device 140.
- the surrounding image is an “image showing the surroundings of the microscope unit 111“ and ”the arm unit 112, but the present disclosure is not limited to such an example.
- the surrounding image may be an “image showing a state around the microscope unit 111“ or ”the arm unit 112.
- the surrounding image may be set as an “image showing the surroundings of the microscope unit 111“ and / or ”the arm unit 112”. How to set the surrounding image at the time of mounting depends on the operator or the surgical system 10. It may be set as appropriate by the designer.
- the surrounding image is a surrounding image with distance information for setting the penetration suitability area (distance information of the microscope unit 111 and arm unit 112 and surrounding objects is added to the surrounding image. Displayed image). Therefore, a camera that can acquire distance information (for example, a stereo camera) is used as the surrounding image acquisition camera 130. The distance information acquired by the surrounding image acquisition camera 130 is also transmitted to the control device 140 together with the image signal.
- the control device 140 controls the operation of the surgical system 10 in an integrated manner. Specifically, the control device 140 controls the driving of the arm unit 112 according to the operation of the operator 201, and controls the position and orientation (that is, the imaging range and imaging direction) of the microscope unit 111. Further, the control device 140 controls the imaging conditions (focal length, magnification, etc.) of the microscope unit 111 according to the operation of the operator 201. In addition, the control device 140 controls display on the display device 120.
- the actuator provided in each joint portion of the arm portion 112 is mounted with a drive mechanism such as a motor and an encoder for detecting a rotation angle in each joint portion.
- the detection value of the encoder is transmitted to the control device 140 as needed, and the control device 140 can control the drive of the arm unit 112 using the detection value of the encoder.
- the control device 140 includes information on the rotation angle of each joint portion detected by the encoder, and an internal model of the arm unit 112 that is input in advance to the control device 140 (for driving control of the arm unit 112). Based on the control model to be used and the geometric information of the arm unit 112 to be controlled and the information on the movement of the arm unit 112).
- the control device 140 uses these pieces of grasped information to control values for the joints that realize the movement of the microscope unit 111 according to the operation from the operator 201 (for example, a rotation angle for position control, Alternatively, in the case of force control, a generated torque or the like is calculated, and the drive mechanism of each joint is driven according to the control value. Thereby, drive control of the arm part 112 according to the operation of the operator 201 can be realized.
- the control device 140 sets the operation mode of the arm unit 112.
- the operation mode is an operation mode of the arm unit 112 according to the type of operation performed by the operator 201 when the control device 140 performs drive control of the arm unit 112.
- the operation mode includes a manual mode and a hands-free mode.
- the operator 201 directly touches the microscope unit 111 and the arm unit 112 by hand, and the arm unit 112 is driven according to an operation of moving the arm unit 112 while applying a force to the arm unit 112. It is a controlled operation mode.
- the operation related to the manual mode is also referred to as a direct operation for convenience.
- the control device 140 drives the arm unit 112 by force control.
- the control device 140 can perform so-called power assist control in which the external force from the operator 201 is received and the actuator of each joint portion is driven so that the arm portion 112 moves smoothly according to the external force. .
- the drive of the arm unit 112 is controlled so as to support the direct operation of the surgeon 201. Therefore, the surgeon 201 is as if moving the arm unit 112 under zero gravity. Such a light operational feeling can be given, and the operability of the operator 201 can be improved.
- the hands-free mode is an operation mode in which the driving of the arm unit 112 is controlled according to an operation performed by the operator 201 without using his / her hand.
- the operation related to the hands-free mode is also referred to as a hands-free operation for convenience.
- the hands-free operation includes voice, line of sight, head movement (so-called head track), gesture, and operation by the leg via the foot switch 153.
- the control device 140 drives the arm unit 112 so that the microscope unit 111 moves by the amount of movement designated by the operator 201 through a hands-free operation by position control.
- the operator 201 can operate the microscope unit 111 by controlling the driving of the arm unit 112 without using a hand in the hands-free mode. Therefore, it is not necessary to let go of the treatment tool once.
- the operator 201 since it is possible to perform drive control of the arm unit 112 without using a hand in the hands-free mode, the operator 201 needs to touch an input device or the like existing in an unclean area for operating the microscope unit 111 by hand. There is no. Thus, by operating the arm part 112 in the hands-free mode, it becomes possible to perform the surgery more smoothly.
- the switching of the operation mode may be performed by any instruction input by the operator 201 (for example, instruction input via a hands-free input device or instruction input via another input device such as a switch).
- control device 140 is an area in which whether or not the microscope unit 111 and the arm unit 112 are appropriate to enter the space is determined on the basis of the surrounding image captured by the surrounding image acquisition camera 130 when driving the arm unit 112 is controlled. (Hereinafter also referred to as intrusion propriety area) is set. Then, when the control unit 140 drives the arm unit 112 in response to the hands-free operation of the operator 201, when the microscope unit 111 and the arm unit 112 enter the penetration suitability area, for example, An action (hereinafter also referred to as an intrusion suppression action) for suppressing the intrusion of the arm part 112 into the intrusion propriety area, such as stopping the operation of the arm part 112 and / or outputting a warning, is executed.
- an intrusion suppression action for suppressing the intrusion of the arm part 112 into the intrusion propriety area, such as stopping the operation of the arm part 112 and / or outputting a warning
- an intrusion appropriateness area (specifically, an intrusion prohibition area, an intrusion caution area, and an intrusion permission area, which will be described later) is defined as “microscope unit 111” and “arm unit 112”
- the penetration suitability region may be “a region where the suitability of the penetration of the microscope unit 111“ or ”the arm unit 112 is determined”.
- the penetration suitability region may be set as “a region where the suitability of the penetration of the microscope unit 111“ and / or ”the arm unit 112 is determined”. How to set the penetration suitability region at the time of mounting is determined by the operator. Or it may set suitably by the designer of the surgery system 10, etc.
- the control device 140 is, for example, a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a control board on which a processor and a storage element such as a memory are mixed, or a general computer such as a PC (Personal Computer).
- a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a control board on which a processor and a storage element such as a memory are mixed, or a general computer such as a PC (Personal Computer).
- PC Personal Computer
- the hands-free input device is a general term for input devices for receiving a hands-free operation by the operator 201.
- a microphone 151, a glasses-type wearable device 152, a foot switch 153, and a motion recognition camera 154 are provided as hands-free input devices.
- the microphone 151 and the glasses-type wearable device 152 are attached to the surgeon 201.
- the microphone 151 collects the voice of the operator 201 and transmits a voice signal related to the voice to the control device 140.
- the control device 140 receives an audio signal transmitted from the microphone 151 and performs an audio recognition process to recognize an operation performed by the operator 201 via audio.
- the eyeglass-type wearable device 152 is equipped with a gaze detection sensor that detects the gaze of the operator 201.
- the line-of-sight detection sensor of the glasses-type wearable device 152 transmits a detection result about the line of sight of the operator 201 to the control device 140.
- the control device 140 recognizes an operation through the line of sight by the operator 201 by analyzing the detection result.
- the glasses-type wearable device 152 also has a function as 3D glasses for viewing 3D display on the display device 120.
- the foot switch 153 transmits an operation signal indicating the operation content by the legs of the operator 201 to the control device 140.
- the control device 140 recognizes an operation by the operator 201 via the foot switch 153 based on the operation signal.
- the motion recognition camera 154 is disposed at a position where the operator 201 can be photographed.
- the motion recognition camera 154 is provided on the upper part of the display device 120 provided to face the operator 201.
- the motion recognition camera 154 transmits an image signal related to the photographed image of the surgeon 201 to the control device 140.
- the control device 140 performs an image recognition process based on the image signal, thereby detecting the head track and gesture of the operator 201 and recognizing an operation via the motion recognition camera 154.
- a marker 155 is attached to the head of the surgeon 201, and the control device 140 detects the movement of the marker 155 from the image of the surgeon 201 taken by the motion recognition camera 154. The direction and amount of movement of the head track of the surgeon 201 can be recognized.
- the control device 140 controls the position and orientation of the microscope unit 111 described above, the imaging condition control of the microscope unit 111, and the display control on the display device 120 based on an operation by the operator 201 via the hands-free input device. I do.
- what kind of control is specifically performed according to what kind of operation can be arbitrarily set.
- the microscope unit 111 when an instruction having the concept of “direction” is included in the operation of the operator 201, the microscope unit is followed according to the instruction having the concept of “direction”.
- the arm part 112 can be driven so that the 111 moves.
- the arm unit 112 is driven so that the microscope unit 111 changes its posture in accordance with the instruction having the concept of “tilt”. Can be done.
- the schematic configuration of the surgical system 10 has been described above.
- the configuration of the surgical system 10 is not limited to the configuration example described above.
- the microscope unit 111 of the observation apparatus 110 may not be configured as a stereo camera, and may be configured to have a single-plate image sensor, for example, and acquire an image signal for 2D display.
- the display device 120 is also compatible with 2D display, and the display device 120 displays 2D images of the surgical site.
- the arm unit 112 of the observation apparatus 110 may not be configured to have a redundant degree of freedom with respect to the movement of the microscope unit 111.
- the arm unit 112 may be configured to have an arbitrary degree of freedom of 6 degrees or less.
- the arm part 112 may be configured to have at least six degrees of freedom in order to move the microscope part 111 freely. preferable.
- the surrounding image acquisition camera 130 is attached to the microscope unit 111, but the present embodiment is not limited to this example.
- the surrounding image acquisition camera 130 only needs to be able to acquire images around the microscope unit 111 and the arm unit 112, and the installation position thereof may be arbitrary.
- the ambient image acquisition camera 130 may be a so-called operating field camera provided on the ceiling of an operating room.
- the type of hands-free input device is not limited to the example described above.
- the hands-free input device may be any device that allows the operator 201 to input an operation without using a hand, and any device may be applied as the hands-free input device.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of the surgery system 10 according to the present embodiment.
- each device (the microscope unit 111 and the arm unit 112 of the observation device 110, the display device 120, the surrounding image acquisition camera 130, the control device 140, and the hands-free input device 150) that constitute the surgical system 10 shown in FIG. ) And each function of the surgical system 10 is schematically shown by blocks. Since the configurations and functions of the observation device 110, the display device 120, the surrounding image acquisition camera 130, and the hands-free input device 150 have already been described with reference to FIG. 1, the functions of the control device 140 will be described in detail here. explain.
- the surgical system 10 further includes a manual input device 170 and a warning output unit 180 as shown in FIG. 2.
- the manual input device 170 is an input device other than the hands-free input device 150, and is an input device in which the operator 201 touches with a hand to input an operation.
- the manual input device 170 is, for example, a touch panel, a lever, a switch, or the like.
- the warning output unit 180 has a function of outputting a warning to the operator 201 visually, audibly and / or tactilely.
- the warning output unit 180 includes a lamp, a buzzer, and / or a vibration device attached to the surgeon 201.
- the vibration device may be provided in the glasses-type wearable device 152, for example, or may be provided as a separate device.
- the warning output unit 180 may be configured by an arbitrary display device including the display device 120, and may display light, characters, or the like indicating the warning on the display device.
- the device constituting the warning output unit 180 may be arbitrary, and the manner of warning may be arbitrary.
- control device 140 includes, as its functions, an operation recognition unit 160, an image processing unit 141, an area setting unit 142, an operation mode setting unit 143, an intrusion determination unit 144, and an action instruction unit 145.
- the surgical setting specifically refers to the delivery of the patient 205 into the operating room, the operation for exposing the surgical site (opening operation in the case of brain surgery), the arrangement of medical staff and surgical equipment, and the like. possible.
- the image processing unit 141 displays the operation part image with respect to the image signal about the surrounding image acquired by the surrounding image acquisition camera 130.
- Various image processing for displaying on the screen 120 is performed.
- the image signal subjected to the image processing is transmitted to the display device 120, and the surrounding image is displayed on the display device 120 based on the image signal.
- image processing for example, development processing (demosaic processing), image quality enhancement processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing are performed.
- Various known signal processing such as (that is, electronic zoom processing) may be performed.
- FIG. 3 is a diagram illustrating an example of a surrounding image acquired by the surrounding image acquisition camera 130.
- the surrounding image may include a microscope unit 111 and an arm unit 112 and surrounding objects.
- an operator 201, other medical staff 207, a patient 205, a display device 120, various surgical devices 209, and the like are displayed as surrounding objects.
- 3 and 4 and 5 described later show, as an example, images that can be acquired when the surrounding image acquisition camera 130 is provided on the ceiling of the operating room.
- the image processing unit 141 also includes a microscope unit 111 and an arm unit 112, and surrounding objects (for example, an operator 201, a patient 205, other medical staff 207, and various surgical devices 209) based on the surrounding image. And the surrounding image with distance information obtained by adding the distance information to the surrounding image is displayed on the display device 120.
- FIG. 4 is a diagram showing an example of a surrounding image with distance information.
- the distance information includes, for example, the distances between the microscope unit 111 and the arm unit 112 and surrounding objects in several stages, and the surrounding image is divided into regions according to the classification, Is indicated by giving a different color for each stage.
- a region 301 in which an object with a very close distance to the microscope unit 111 and the arm unit 112 exists a region 303 in which an object with a close distance to the microscope unit 111 and the arm unit 112 exists, a microscope unit 111 and an arm unit.
- the surrounding image is divided into four areas, that is, an area 305 in which an object with a medium distance from 112 exists, and an area 307 in which an object far from the microscope unit 111 and the arm unit 112 exists.
- Distance information is indicated by giving different colors to .about.307.
- regions 301 to 305 are regions within the movable range of the arm unit 112, that is, regions where the microscope unit 111 and the arm unit 112 may enter during driving, and the region 307 is an arm unit. This is an area outside the movable range 112.
- the image processing unit 141 causes the display device 120 to display a display related to a GUI (Graphical User Interface) for setting an intrusion suitability area based on the surrounding image with distance information. Details of the GUI will be described later with reference to FIG.
- GUI Graphic User Interface
- the area setting unit 142 sets an intrusion suitability area on the space based on the surrounding image.
- the area setting unit 142 sets the invasion suitability area in the space in response to an area selection operation performed by the operator 201 through the GUI for setting the intrusion suitability area.
- FIG. 5 is a diagram for explaining an example of a GUI for setting an intrusion appropriateness area.
- a surrounding image with distance information is displayed on the display device 120.
- the operator 201 appropriately selects each region 301 to 307 classified according to the distance from the microscope unit 111 and the arm unit 112 in the surrounding image with distance information via the manual input device 170.
- the penetration suitability area can be set for each of these areas.
- an entry suitability area can be set for each of the areas.
- the manual input device 170 is a touch panel
- the touch panel is integrated with the display device 120, and the operator 201 directly touches the areas 301 to 307 on the display screen with a finger, a stylus, or the like.
- the manual input device 170 may be a pointing device such as a mouse, and the surgeon 201 operates the pointer on the display screen via the pointing device to determine whether the intrusion is appropriate from the areas 301 to 307.
- An area to be set as the area may be selected.
- the intrusion prohibited area 311 is an area within the movable range of the arm unit 112 and is an area where the microscope unit 111 and the arm unit 112 are prohibited from entering from the viewpoint of safety.
- the operator 201 is in contact with the microscope unit 111 and the arm unit 112 such as a patient 205 and a surgical instrument from the regions 301 to 305 belonging to the movable range of the arm unit 112 in the GUI.
- a region where an object that should not be present is selected as the intrusion prohibited region 311.
- the invasion caution area 313 is an area within the movable range of the arm part 112, and although it is necessary to pay attention, the microscope part 111 and the arm part 112 may enter partly.
- the operator 201 selects, for example, a cable or cloth suspended in the operating room from the regions 301 to 305 belonging to the movable range of the arm unit 112, the microscope unit 111, and the arm unit.
- a region in which an object that can be deformed flexibly even if it comes into contact with 112 is selected as the intrusion warning region 313.
- the intrusion permission area 315 is an area within the movable range of the arm unit 112 and is an area where the microscope unit 111 and the arm unit 112 may enter even though an object currently exists.
- the surgeon 201 can select, for example, a medical staff (such as an assistant or a nurse) from the regions 301 to 305 belonging to the movable range of the arm unit 112 in the GUI.
- An area where an object that can be avoided when 112 approaches is selected as the intrusion permission area 315.
- the area setting unit 142 sets an intrusion prohibition area, an intrusion prohibition caution area, and an intrusion permission area on the space according to the selection operation by the surgeon 201. Then, the area setting unit 142 provides the intrusion determination unit 144 with information about the set intrusion prohibited area, the intrusion prohibited attention area, and the intrusion permitted area. Note that the intrusion prohibition area, the intrusion prohibition caution area, and the intrusion permission area need not all be set, and at least one of these may be set.
- the area setting unit 142 sets the intrusion appropriate / inappropriate area based on the surrounding image taken at a timing before the surgeon starts the treatment.
- the surrounding image acquired at this stage is just a reflection of the actual situation at the time of treatment.
- An intrusion propriety area can be set.
- the intrusion suitability area can be arbitrarily set by the operator 201. By setting the penetration suitability area by the surgeon 201 who is familiar with the actual surgical site, the penetration suitability area can be set more appropriately.
- the operation recognition unit 160 recognizes the operation of the surgeon 201 based on information indicating the operation of the surgeon 201 transmitted from the hands-free input device 150.
- the operation recognition unit 160 includes, as its function, a voice recognition unit 161, a line-of-sight recognition unit 162, a head track recognition unit 163, a gesture recognition unit 164, and a foot switch operation recognition unit 165. .
- the voice recognition unit 161 analyzes a voice signal related to the voice of the surgeon 201 collected by the microphone 151 and recognizes an operation by the surgeon 201 via voice.
- the line-of-sight recognition unit 162 recognizes an operation performed by the operator 201 via the line of sight based on the detection result of the line of sight of the operator 201 detected by the line-of-sight detection sensor mounted on the glasses-type wearable device 152.
- the head track recognizing unit 163 and the gesture recognizing unit 164 recognize the operation of the operator 201 via the head track and the gesture by analyzing the image of the operator 201 captured by the motion recognition camera 154.
- the foot switch operation recognition unit 165 recognizes an operation by the operator 201 via the foot switch 153 based on an operation signal related to an operation by the leg of the operator 201 acquired by the foot switch 153.
- the operations recognized by the operation recognizing unit 160 include those related to the operation mode change, those related to the operation of the arm unit 112, and those related to the display control of the display device 120.
- the operation recognition unit 160 provides information about the operation content to the operation mode setting unit 143.
- the operation recognition unit 160 provides information about the operation content to the drive control unit 146.
- the operation recognition unit 160 provides information about the operation content to the image processing unit 141.
- the image processing unit 141 performs various types of image processing (for example, related to the surrounding image described above) for displaying the surgical part image on the display device 120 with respect to the image signal regarding the surgical part image acquired by the microscope unit 111. Processing similar to image processing) is performed. Then, the image signal subjected to the image processing is transmitted to the display device 120, and an operation part image is displayed on the display device 120 based on the image signal. Further, the image processing unit 141 may cause the display device 120 to display various types of information related to the surgery instead of the surgical part image or together with the surgical part image in accordance with an operation by the operator 201.
- the operation mode setting unit 143 sets the operation mode of the arm unit 112 to either the manual mode or the hands-free mode according to information about the operation content of the surgeon 201 provided from the operation recognition unit 160.
- the operation mode setting unit 143 provides information on the set operation mode to the intrusion determination unit 144 and the drive control unit 146.
- the intrusion determination unit 144 has information on the operation mode set by the operation mode setting unit 143 and the intrusion propriety region set by the region setting unit 142 (that is, the intrusion prohibition region, the intrusion prohibition attention region, and the intrusion permission region). Based on the information and information indicating the state of the arm unit 112 transmitted from the arm unit 112 (specifically, a detection value of an encoder provided in each joint unit), the arm unit 112 is driven according to a hands-free operation. Whether the microscope unit 111 and the arm unit 112 have entered the penetration suitability area is determined while the control is being performed. Here, as described above, detection values of encoders provided at the joint portions of the arm portion 112 are transmitted to the control device 140 as needed.
- the intrusion determination unit 144 determines the current state of the arm unit 112 (specifically, the arm unit 112 based on the detected value of the encoder and the internal model of the arm unit 112 input in advance to the control device 140). As well as the position and posture of the microscope unit 111). Then, the intrusion determination unit 144 compares the grasped current state of the arm unit 112 with the intrusion propriety region set in the space, thereby entering the intrusion propriety region of the microscope unit 111 and the arm unit 112. Determine if there is an intrusion.
- the intrusion determination unit 144 determines whether the microscope unit 111 and the arm unit 112 have entered the intrusion appropriateness region”.
- the determination unit 144 may determine that the microscope unit 111 and the arm unit 112 have entered the penetration suitability region when the microscope unit 111 and the arm unit 112 are likely to enter the penetration suitability region. For example, when the distance between the microscope unit 111 and the arm unit 112 and the penetration suitability area is equal to or less than a predetermined threshold value, the penetration determination unit 144 has entered the penetration suitability area. Is determined. Thereby, before the microscope unit 111 and the arm unit 112 actually enter the penetration suitability area, an intrusion suppression action is executed by an instruction from the action instruction unit 145 described later. It is possible to prevent intrusion into the intrusion appropriate area of 112 in advance.
- the intrusion determination unit 144 provides information about the determination result to the action instruction unit 145. Note that the intrusion determination unit 144 does not perform the intrusion presence / absence determination process when the driving of the arm unit 112 is controlled according to a direct operation by the operator 201 in the manual mode. The reason for this will be described later.
- the action instruction unit 145 issues an instruction to perform an intrusion suppression action based on the determination result by the intrusion determination unit 144.
- the action instructing unit 145 has different intrusion suppression actions for the drive control unit 146 and / or the warning control unit 147 depending on the manner in which the microscope unit 111 and the arm unit 112 enter the penetration suitability area. Issue instructions for.
- the action instruction unit 145 instructs the drive control unit 146 to stop the movement of the arm unit 112 when it is determined that the microscope unit 111 and the arm unit 112 have entered the intrusion prohibited area.
- An instruction is issued, and an instruction is issued to the warning control unit 147 so that a warning that the arm unit 112 has entered the intrusion prohibited area is output. This forcibly prevents the arm 112 from entering the invasion prohibited area and allows medical staff such as the surgeon 201 who received the warning to continue the operation while taking appropriate measures. Become.
- the action instruction unit 145 maintains the position and posture of the microscope unit 111 using the redundancy degree of freedom. 111 and the arm unit 112 avoid the entry attention area (that is, the microscope section 111 and the arm part 112 do not enter the entry attention area as much as possible). And issues an instruction to the warning control unit 147 so as to output a warning that the arm unit 112 has entered the invasion caution area. As a result, the microscope unit 111 and the arm unit 112 are suppressed as much as possible from entering the invasion caution area, and the medical staff such as the surgeon 201 who has received a warning can move the microscope unit 111 and the arm unit 112 in motion. It is possible to continue the operation while paying attention.
- the action instruction unit 145 controls the warning so as to output a warning that the arm unit 112 has entered the intrusion permitted area when it is determined that the microscope unit 111 and the arm unit 112 have entered the intrusion permitted area.
- An instruction is issued to the unit 147. Accordingly, the medical staff such as the surgeon 201 who receives the warning pays attention to the movement of the arm unit 112 and can continue the operation while avoiding the microscope unit 111 and the arm unit 112.
- the action instruction unit 145 does not perform the process related to the intrusion suppression action when the operation mode is the manual mode and the intrusion determination unit 144 has not performed the intrusion presence / absence determination process.
- the drive control unit 146 controls the driving of the arm unit 112 by driving an actuator provided in each joint unit of the arm unit 112 according to the operation of the operator 201. Similar to the intrusion determination unit 144, the drive control unit 146 is based on the detection values of the encoders provided at the joints of the arm unit 112 and the internal model of the arm unit 112 input in advance to the control device 140. The current posture of the arm unit 112 can be grasped. Then, the drive control unit 146 determines the microscope unit 111 according to the operation by the operator 201 based on the grasped current state of the arm unit 112 and the operation content by the operator 201 recognized by the operation recognition unit 160. By calculating a control value for each joint part that realizes the movement of the lens and driving each joint part according to the control value, the microscope part 111 takes a desired position and posture, or the arm part 112 has a desired value. Let me take a posture.
- the drive control unit 146 performs different control depending on the operation mode when driving the arm unit 112.
- the drive control unit 146 moves the arm unit 112 so that the microscope unit 111 moves according to a direct operation by the operator 201 by force control.
- Control the drive For example, the drive control unit 146 drives the arm unit 112 by power assist control.
- the drive control unit 146 does not perform control according to the instruction, and moves the arm unit 112 according to a direct operation by the operator 201. Make it work.
- the drive control unit 146 is input via the hands-free input device 150 and is recognized by the operation recognition unit 160 by the position control.
- the driving of the arm unit 112 is controlled so that the microscope unit 111 moves in accordance with the operation.
- the drive control unit 146 performs control according to the instruction regardless of the operation of the operator 201.
- the drive control unit 146 moves the arm unit 112 according to the instruction from the action instruction unit 145 regardless of the operation of the operator 201. Stop.
- the drive control unit 146 follows the instruction from the action instruction unit 145 and the arm unit 112 enters as much as possible regardless of the operation of the operator 201.
- the posture of the arm unit 112 is changed while maintaining the position and posture of the microscope unit 111 so as not to enter the attention area.
- the warning control unit 147 controls the driving of the warning output unit 180 in accordance with an instruction from the action instruction unit 145, and causes the operator 201 to output a warning that the arm unit 112 has entered the intrusion appropriateness area. Note that the warning control unit 147 can stop the output warning in response to an arbitrary operation by the operator 201.
- the intrusion propriety area is set based on the surrounding images of the microscope unit 111 and the arm unit 112 in the actual operating room, and the set intrusion is set during the drive control of the arm unit 112.
- An intrusion suppression action is executed according to whether or not the arm portion 112 has intruded into the suitability area. Since people and objects around the microscope unit 111 and the arm unit 112 can frequently move during the operation, the intrusion appropriateness area is set according to the actual situation as described above, so that the actual situation is further improved. Therefore, it is possible to set an appropriate intrusion appropriate / inappropriate area. Therefore, when the intrusion suppression action is executed according to whether or not the arm unit 112 has intruded into the intrusion suitability area set in this way, the intrusion prevention action is also more appropriately executed, which is more secure. Surgery can be realized.
- the intrusion suppression action is performed so as to prevent the arm unit 112 from interfering with any surrounding objects, the range in which the arm unit 112 can move is excessively limited, and smooth operation can be performed. There is a risk of being disturbed.
- a plurality of types of penetration suitability areas are set in stages according to the state of an object that can interfere with the arm portion 112. Then, different intrusion suppression actions are executed according to the type of intrusion suitability area into which the arm unit 112 has invaded. Accordingly, it is possible to smoothly perform an operation while suitably suppressing interference between the arm unit 112 and surrounding objects.
- the intrusion presence / absence determination process is performed, and the intrusion suppression action is executed.
- the operator 201 operates the arm unit 112 while making direct contact with the microscope unit 111 or the arm unit 112, so that the operator 201 naturally grasps the movement of the arm unit 112. Then, the arm unit 112 is operated. Therefore, it is considered that the interference between the arm unit 112 and the surrounding object can be avoided by the operation of the surgeon 201 itself without executing the intrusion suppression action. Therefore, the intrusion suppression action is executed in the manual mode. This is because the necessity is low. Rather, when the intrusion suppression action is executed in the manual mode, the operation of the arm unit 112 by the operator 201 is excessively limited, and the operability of the operator 201 may be impaired.
- the hands-free mode for example, a mode in which the surgeon 201 operates the arm unit 112 while looking at the display on the display device 120 so that the microscope unit 111 has a position and posture at which a desired surgical image can be obtained.
- the hands-free mode there is a high possibility that the operator 201 does not pay attention to the movement of the arm unit 112 itself. In such a case, there is a possibility that the arm unit 112 may unintentionally come into contact with a surrounding object. Therefore, a function of executing an intrusion suppression action and automatically suppressing the contact becomes important.
- the operability of the operator 201 is impaired by performing the intrusion suppression action only in the hands-free mode in which the operator 201 has a high possibility of not grasping the movement of the arm unit 112.
- safer drive control of the arm portion 112 is realized.
- the functional configuration described above is merely an example, and the surgical system 10 only needs to be able to execute the processing described above, and the functional configuration may be arbitrary.
- various images related to the setting of the intrusion propriety area are displayed as the operation part images.
- the surgical system 10 may be configured to include a display device that is separate from the display device 120, and various images relating to the setting of the penetration suitability area may be displayed on the separate display device.
- the intrusion suitability area setting process is performed before the surgeon 201 performs the treatment, but the present embodiment is not limited to such an example.
- a process for resetting the intrusion suitability area may be performed during the treatment.
- the intrusion appropriateness area three types of areas, the intrusion prohibition area, the intrusion caution area, and the intrusion permission area, are set as the intrusion appropriateness area.
- the method of dividing the intrusion suitability area in stages may be arbitrary.
- Other types of areas other than the three types may be set as the penetration suitability areas.
- the penetration suitability area may not be set in stages, and one type of area may be set as the penetration suitability area.
- control device 140 may be configured to realize the above-described functions, and the specific device configuration may be arbitrary.
- the control device 140 may not be configured as one device, and may be configured by a plurality of devices.
- the functions illustrated in blocks in FIG. 2 are distributed and mounted on the plurality of devices, and the plurality of devices can communicate with each other.
- the functions similar to those of the control device 140 can be realized by being connected and operating in cooperation with each other.
- a computer program for realizing each function of the control device 140 of the surgical operation system 10 shown in FIG. 2 and mount it on a processing device such as a PC.
- a computer-readable recording medium storing such a computer program can be provided.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the above computer program may be distributed via a network, for example, without using a recording medium.
- FIGS. 6A and 6B are flowcharts showing an example of the processing procedure of the control method according to the present embodiment.
- Each process shown in FIGS. 6A and 6B corresponds to the process executed by the control device 140 of the surgical system 10 shown in FIG. 2 described above. Since the details of each of these processes have already been described when the functional configuration of the surgical system 10 is described, the detailed description of each process is omitted in the description of the processing procedure of the following control method.
- step S101 an ambient image is acquired (step S101).
- the process shown in step S101 corresponds to a process in which information about the surrounding image is transmitted from the surrounding image acquisition camera 130 shown in FIG. 2 to the image processing unit 141 of the control device 140.
- step S103 an intrusion suitability area is set (step S103). Specifically, in step S103, for example, an intrusion prohibition area, an intrusion attention area, and an intrusion permission area are set as intrusion propriety areas in accordance with an instruction from the operator 201 using the GUI shown in FIG. Note that the process shown in step S103 corresponds to the process executed by the area setting unit 142 shown in FIG.
- step S101 and step S103 described above is processing executed before the surgeon 201 starts treatment for the surgical site.
- step S105 described below is a process executed after the surgeon 201 starts treatment for the surgical site.
- step S105 the operation mode of the arm unit 112 of the observation apparatus 110 is set according to the operation of the operator 201.
- the process shown in step S105 corresponds to the process executed by the operation mode setting unit 143 shown in FIG.
- the operator 201 may input an instruction to change the operation mode at an arbitrary timing.
- the process returns to step S105, and the operation mode setting process according to the instruction is performed.
- step S107 the operation mode is determined (step S107).
- the process proceeds to step S109, and the driving of the arm unit 112 is controlled according to the direct operation by the operator 201.
- the process of step S109 is repeatedly executed until the operator 201 inputs an instruction to end the control or an instruction to change the operation mode (that is, driving of the arm unit 112 in the manual mode). Control continues).
- step S111 the drive of the arm unit 112 is controlled according to the hands-free operation by the operator 201.
- steps S107 to S111 correspond to the processes executed by the drive control unit 146 shown in FIG.
- step S111 while the driving of the arm unit 112 is controlled according to the hands-free operation, it is determined whether the microscope unit 111 and the arm unit 112 have entered the intrusion prohibited area (step S113).
- the process shown in step S113 corresponds to the process executed by the intrusion determination unit 144 shown in FIG.
- step S113 If it is determined in step S113 that the arm unit 112 has entered the intrusion prohibition region, the operation of the arm unit 112 is stopped (step S115), and the microscope unit 111 and the arm unit 112 enter the intrusion prohibition region. A warning to the effect is output (step S117).
- the processing shown in steps S115 and S117 corresponds to the processing executed by the drive control unit 146 and the warning control unit 147 in accordance with the instruction issued by the action instruction unit 145 shown in FIG.
- step S119 it is next determined whether or not an instruction to change the operation mode by the operator 201 has been input (step S119). While the instruction is not input, the operation of the arm unit 112 is stopped and a warning is continuously output until the instruction is received. On the other hand, when the instruction is input, the process returns to step S105, and the operation mode is set again according to the instruction. In this case, since the operation mode is changed from the hands-free mode to the manual mode, the processing in step S107 and step S109 is executed, and the operator 201 moves the arm unit 112 by a direct operation. It becomes possible. At this time, the warning may be stopped along with the change of the operation mode. That is, in this embodiment, when it is determined that the arm unit 112 has entered the intrusion prohibited area and the operation of the arm unit 112 is stopped, the operator 201 changes the operation mode so that the operator 201 It is possible to move 112 and continue the operation.
- step S113 when it is determined in step S113 that the microscope unit 111 and the arm unit 112 have not entered the intrusion prohibited area, the process proceeds to step S121, and the microscope unit 111 and the arm part 112 are in the invasion caution area. It is determined whether or not an intrusion has occurred.
- the process shown in step S121 corresponds to the process executed by the intrusion determination unit 144 shown in FIG.
- step S121 If it is determined in step S121 that the microscope unit 111 and the arm unit 112 have entered the invasion caution area, the arm unit 112 is prevented from entering the invasion caution area as much as possible while maintaining the position and posture of the microscope unit 111. While the posture is changed (step S123), a warning that the microscope unit 111 and the arm unit 112 have entered the invasion caution area is output (step S125).
- the processes shown in step S123 and step S125 correspond to the processes executed by the drive control unit 146 and the warning control unit 147 in accordance with the instruction issued by the action instruction unit 145 shown in FIG.
- the operator 201 can continue the operation of the arm unit 112 by a hands-free operation. Therefore, after the warning is output in step S125, the process returns to step S111, and the drive control of the arm unit 112 according to the hands-free operation is continuously executed. If the microscope unit 111 and the arm unit 112 have entered the invasion caution area, but it can be determined that there is no safety problem, the warning is appropriately stopped by an arbitrary operation by the operator 201. Good.
- step S121 If it is determined in step S121 that the microscope unit 111 and the arm unit 112 have not entered the invasion caution area, the process proceeds to step S127, and it is determined whether the microscope unit 111 and the arm unit 112 have entered the entry permission area. Determined.
- the process shown in step S127 corresponds to the process executed by the intrusion determination unit 144 shown in FIG.
- step S129 a warning that the microscope unit 111 and arm unit 112 have entered the intrusion permitted area is output (step S129). ).
- the processing shown in step S129 corresponds to the processing executed by the warning control unit 147 in accordance with the instruction issued by the action instruction unit 145 shown in FIG.
- the surgeon 201 can continue the operation of the arm part 112 by the hands-free operation both when the microscope part 111 and the arm part 112 have entered the intrusion permitted area and when the microscope part 111 and the arm part 112 have not entered. Therefore, after a warning is output in step S129 or when it is determined in step S127 that the microscope unit 111 and the arm unit 112 have not entered the intrusion permitted area, the process returns to step S111, and a hands-free operation is performed. The drive control of the arm unit 112 is continued. In addition, although it can be judged that there is no safety problem although the arm part 112 has entered the intrusion permitted area, the warning may be appropriately stopped by an arbitrary operation by the operator 201.
- FIG. 7 is a diagram showing a schematic configuration of a surgical operation system according to a modification of the present embodiment.
- a surgical operation system 10a includes an observation device 110, a display device 120a, a surrounding image acquisition camera 130, a control device 140a, a microphone 151, and a foot switch 153. And a motion recognition camera 154.
- the surgical operation system 10a according to the present modification corresponds to the surgical operation system 10 described above in which the configuration of the display device 120 and the control device 140 is changed and the glasses-type wearable device 152 is not provided. To do. Further, the marker 155 is not provided for the surgeon 201.
- Other items in the surgical system 10a are the same as those in the surgical system 10 described above. Therefore, in the following description of the surgical system 10a, items that are different from the surgical system 10 will be mainly described, and detailed descriptions of duplicate items will be omitted.
- the display device 120a is disposed at a relatively short distance from the operator 201.
- the display device 120 a is disposed in front of the eye of the operator 201 on the patient bed 203.
- the display device 120a is a naked-eye 3D display, and the surgeon 201 can observe the surgical part in three dimensions on the display device 120a without wearing a separate device such as the glasses-type wearable device 152. .
- the motion recognition camera 154 is also arranged at a relatively short distance from the operator 201 in the present modification. Therefore, the control device 140a can detect the line of sight of the operator 201 based on the image captured by the motion recognition camera 154. In addition, since the distance between the motion recognition camera 154 and the surgeon 201 is short, the control device 140a accurately determines the head track of the surgeon 201 based on the image captured by the motion recognition camera 154 without the marker 155. Can be recognized.
- control device 140a matters other than the method for recognizing the gaze of the surgeon 201 and the method for recognizing the head track are the same as those of the control device 140 shown in FIG.
- FIG. 8 is an external view showing a configuration example of the observation apparatus 110 according to the present embodiment.
- the observation device 110 has a base end 5315 that contacts a floor surface, which will be described later, in FIG.
- the example of a structure with which the base end of the arm part 112 is connected to the said base part 5315 is shown in figure.
- FIG. 8 illustrates a configuration of the observation apparatus 110 including the arm unit 112 having six degrees of freedom regarding the movement of the microscope unit 111 as an example.
- the arm portion 112 of the observation apparatus 110 may be configured to have a redundancy degree of freedom.
- the observation apparatus 110 includes a microscope unit 111 for magnifying and observing an observation target (surgical unit of the patient 205), an arm unit 112 that supports the microscope unit 111 at the distal end, and a proximal end of the arm unit 112. And a control device 5317 that controls the operation of the observation device 110 in an integrated manner.
- the microscope unit 111 includes a cylindrical part 5305 having a substantially cylindrical shape, an imaging part (not shown) provided inside the cylindrical part 5305, and an operation part 5307 provided in a partial region on the outer periphery of the cylindrical part 5305. And.
- a cover glass that protects the internal imaging unit is provided on the opening surface at the lower end of the cylindrical part 5305.
- the observation light passes through the cover glass and enters the imaging unit inside the cylindrical part 5305.
- a light source such as an LED (Light Emitting Diode) may be provided inside the cylindrical portion 5305, and light is emitted from the light source to the observation target through the cover glass during imaging. May be.
- the imaging unit includes an optical system that collects the observation light and an image sensor that receives the observation light collected by the optical system.
- the optical system is configured by combining a plurality of lenses including a focus lens and a zoom lens, and the optical characteristics thereof are adjusted so that the observation light is imaged on the light receiving surface of the image sensor.
- the image sensor generates an image signal corresponding to an observation image by receiving observation light and performing photoelectric conversion.
- the imaging element for example, an element having a Bayer array capable of color photography is used.
- the image sensor may be various known image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
- the image signal generated by the image sensor is transmitted to the control device 5317 as RAW data.
- the transmission of the image signal may be preferably performed by optical communication.
- the surgeon performs the operation while observing the state of the affected area with the captured image.
- the moving image of the surgical site should be displayed in real time as much as possible. Because it is.
- a captured image can be displayed with low latency.
- the imaging unit may have a drive mechanism that moves the focus lens and zoom lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the driving mechanism, the focal length at the time of imaging and the magnification of the captured image can be adjusted.
- the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
- the imaging unit is configured to have a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to stereoscopic vision (3D display). By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue in the surgical site.
- the imaging unit is configured as a multi-plate type, a plurality of optical systems can be provided corresponding to each imaging element.
- the imaging unit may be configured as a so-called single-plate type imaging unit having one imaging element, or a so-called multi-plate type having a plurality of pairs of imaging elements. It may be configured as an imaging unit.
- image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
- the operation unit 5307 is configured by, for example, a cross lever or a switch, and is an input unit that receives an operation input from the operator 201.
- the operator 201 can input an instruction to change the focal length to the observation target of the observation image and the enlargement magnification via the operation unit 5307.
- the focal length and the magnification can be adjusted by appropriately moving the zoom lens and the focus lens by the drive mechanism of the imaging unit in accordance with the instruction.
- the operation mode of the arm unit 112 is the manual mode
- the operator 201 further switches the operation mode to any one of an all-free mode and a fixed mode described later via the operation unit 5307. An instruction to that effect can be input.
- the operation unit 5307 is positioned at a position where the operator 201 can easily operate with a finger while the operator 201 holds the cylindrical part 5305 so that the operator 201 can operate the operator while moving the cylindrical part 5305. It is preferable to be provided.
- the arm part 112 is configured by a plurality of links (first link 5313a to sixth link 5313f) being connected to each other by a plurality of joint parts (first joint part 5311a to sixth joint part 5311f) so as to be rotatable. Is done.
- the first joint portion 5311a has a substantially columnar shape, and at its tip (lower end), the upper end of the cylindrical portion 5305 of the microscope unit 111 is a rotation axis (first axis) parallel to the central axis of the cylindrical portion 5305. O 1 ) is supported so as to be rotatable around.
- the first joint portion 5311 a may be configured such that the first axis O 1 coincides with the optical axis of the imaging unit of the microscope unit 111.
- the first link 5313a fixedly supports the first joint portion 5311a at the tip. More specifically, the first link 5313a is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the first axis O 1, the end portion of the one side is first It connects to the 1st joint part 5311a so that it may contact
- the second joint portion 5311b is connected to the end portion on the other side of the substantially L-shaped base end side of the first link 5313a.
- the second joint portion 5311b has a substantially cylindrical shape, and at the tip thereof, the base end of the first link 5313a can be rotated around a rotation axis (second axis O 2 ) orthogonal to the first axis O 1. To support.
- the distal end of the second link 5313b is fixedly connected to the proximal end of the second joint portion 5311b.
- the second link 5313b is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the second axis O 2, the ends of the one side of the second joint portion 5311b Fixedly connected to the proximal end.
- a third joint portion 5311c is connected to the other side of the base end side of the substantially L-shaped base of the second link 5313b.
- the third joint portion 5311c has a substantially cylindrical shape, and at its tip, the base end of the second link 5313b is a rotation axis (third axis O 3) orthogonal to the first axis O 1 and the second axis O 2. ) Support so that it can rotate around.
- the distal end of the third link 5313c is fixedly connected to the proximal end of the third joint portion 5311c.
- the microscope unit 111 is moved so as to change the position of the microscope unit 111 in the horizontal plane by rotating the configuration on the distal end side including the microscope unit 111 around the second axis O 2 and the third axis O 3. Can be made. That is, by controlling the rotation around the second axis O 2 and the third axis O 3 , the field of view of the captured image can be moved in a plane.
- the third link 5313c is configured such that the distal end side thereof has a substantially cylindrical shape, and the proximal end of the third joint portion 5311c has substantially the same central axis at the distal end of the cylindrical shape. Fixedly connected.
- the proximal end side of the third link 5313c has a prismatic shape, and the fourth joint portion 5311d is connected to the end portion thereof.
- the fourth joint portion 5311d has a substantially cylindrical shape, and at the tip thereof, the base end of the third link 5313c can be rotated around a rotation axis (fourth axis O 4 ) orthogonal to the third axis O 3. To support.
- the distal end of the fourth link 5313d is fixedly connected to the proximal end of the fourth joint portion 5311d.
- Fourth link 5313d is a rod-shaped member extending substantially in a straight line, while stretched so as to be orthogonal to the fourth axis O 4, the end of the tip side of the substantially cylindrical shape of the fourth joint portion 5311d It is fixedly connected to the fourth joint portion 5311d so as to abut.
- the fifth joint portion 5311e is connected to the base end of the fourth link 5313d.
- the fifth joint portion 5311e has a substantially cylindrical shape, and on the distal end side thereof, the base end of the fourth link 5313d can be rotated around a rotation axis (fifth axis O 5 ) parallel to the fourth axis O 4. To support.
- the distal end of the fifth link 5313e is fixedly connected to the proximal end of the fifth joint portion 5311e.
- the fourth axis O 4 and the fifth axis O 5 are rotation axes that can move the microscope unit 111 in the vertical direction.
- the fifth link 5313e includes a first member having a substantially L shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a portion extending in the horizontal direction of the first member in a vertically downward direction. A rod-shaped second member that extends is combined.
- the proximal end of the fifth joint portion 5311e is fixedly connected in the vicinity of the upper end of the portion of the fifth link 5313e extending in the vertical direction of the first member.
- the sixth joint portion 5311f is connected to the proximal end (lower end) of the second member of the fifth link 5313e.
- the sixth joint portion 5311f has a substantially cylindrical shape, and supports the base end of the fifth link 5313e on the distal end side thereof so as to be rotatable about a rotation axis (sixth axis O 6 ) parallel to the vertical direction. .
- the distal end of the sixth link 5313f is fixedly connected to the proximal end of the sixth joint portion 5311f.
- the sixth link 5313f is a rod-like member extending in the vertical direction, and its base end is fixedly connected to the upper surface of the base portion 5315.
- the rotatable range of the first joint portion 5311a to the sixth joint portion 5311f is appropriately set so that the microscope unit 111 can perform a desired movement.
- a motion of a total of 6 degrees of freedom of a translational 3 degree of freedom and a rotational 3 degree of freedom can be implement
- the position and posture of the microscope unit 111 can be freely controlled within the movable range of the arm unit 112. It becomes possible. Therefore, the surgical site can be observed from any angle, and the surgery can be performed more smoothly.
- the configuration of the arm portion 112 shown in the figure is merely an example, and the number and shape (length) of the links constituting the arm portion 112, the number of joint portions, the arrangement position, the direction of the rotation axis, and the like are desired. It may be designed as appropriate so that the degree can be realized.
- the arm unit 112 in order to freely move the microscope unit 111, the arm unit 112 is preferably configured to have six degrees of freedom, but the arm unit 112 has a greater degree of freedom (ie, redundant freedom). Degree). When there is a redundancy degree of freedom, the arm unit 112 can change the posture of the arm unit 112 while the position and posture of the microscope unit 111 are fixed.
- the posture of the arm unit 112 is controlled so that the microscope unit 111 and the arm unit 112 do not enter the invasion caution region as much as possible, as in the case where the microscope unit 111 and the arm unit 112 enter the invasion caution region described above. Control more convenient for the surgeon can be realized.
- the first joint portion 5311a to the sixth joint portion 5311f may be provided with actuators mounted with a drive mechanism such as a motor, an encoder for detecting a rotation angle at each joint portion, and the like. Then, the drive of each actuator provided in the first joint portion 5311a to the sixth joint portion 5311f is appropriately controlled by the control device 5317, whereby the posture of the arm portion 112, that is, the position and posture of the microscope portion 111 can be controlled. . Specifically, the control device 5317 can grasp the current state of the arm unit 112 based on information about the rotation angle of each joint unit detected by the encoder.
- the control device 5317 Based on the grasped current state of the arm unit 112, the control device 5317 calculates a control value for each joint unit that realizes the movement of the microscope unit 111 according to the operation by the operator 201, and sets the control value. Accordingly, the drive mechanism of each joint is driven.
- the driving of the arm unit 112 is appropriately controlled by the control device 5317 according to the direct operation by the operator 201 by force control. Then, the position and orientation of the microscope unit 111 are controlled. Further, for example, when the operation mode of the arm unit 112 is the hands-free mode, the control device 5317 appropriately controls the driving of the arm unit 112 according to the hands-free operation by the operator 201 by the position control, and the microscope The position and orientation of the unit 111 are controlled.
- the driving of the arm part 112 may be controlled so as to perform a pivoting action.
- the pivot operation is an operation of moving the microscope unit 111 so that the optical axis of the microscope unit 111 always faces a predetermined point in space (hereinafter also referred to as a pivot point). According to the pivot operation, the same observation position can be observed from various directions, so that more detailed observation of the affected area is possible.
- the first joint portion 5311a to the sixth joint portion 5311f may be provided with a brake that restrains the rotation thereof.
- the operation of the brake can be controlled by the control device 5317.
- the control device 5317 activates the brake of each joint unit.
- the control device 5317 may release the brake of each joint unit and appropriately drive the actuator according to the operation of the operator 201.
- Such an operation of the brake can be performed according to an operation by the operator 201 via the operation unit 5307 described above.
- the operator 201 wants to move the position and posture of the microscope unit 111, the operator 201 operates the operation unit 5307 to release the brakes of the joint units.
- the operation mode of the arm part 112 shifts to a mode (all free mode) in which the rotation at each joint part can be freely performed.
- the operator 201 wants to fix the position and posture of the microscope unit 111
- the operator 201 operates the operation unit 5307 to activate the brakes of the joint units.
- the operation mode of the arm part 112 shifts to a mode (fixed mode) in which the rotation in each joint part is restrained.
- Control device 5317 controls the operation of observation device 110.
- the control device 5317 controls the driving of the arm unit 112 by operating the actuators of the first joint unit 5311a to the sixth joint unit 5311f in accordance with the operation of the operator 201.
- the control device 5317 changes the operation mode of the arm unit 112 between the all-free mode and the fixed mode by controlling the brake operation of the first joint unit 5311a to the sixth joint unit 5311f.
- the control device 5317 adjusts the imaging conditions (focal length and magnification) in the imaging unit of the microscope unit 111 of the observation device 110.
- the control device 5317 performs various kinds of signal processing on the image signal acquired by the imaging unit of the microscope unit 111 of the observation device 110, and displays the surgical site image on the display device 120 (see FIG. (Not shown in FIG. 8).
- communication between the control device 5317 and the microscope unit 111 and communication between the control device 5317 and the first joint unit 5311a to the sixth joint unit 5311f may be wired communication or wireless communication.
- wired communication communication using electrical signals may be performed, or optical communication may be performed.
- a transmission cable used for wired communication can be configured as an electric signal cable, an optical fiber, or a composite cable thereof depending on the communication method.
- wireless communication there is no need to lay a transmission cable in the operating room, so that the situation where the transmission cable prevents the medical staff from moving in the operating room can be eliminated.
- the control device 5317 may be a processor such as a CPU or GPU, or a control board on which a processor and a storage element such as a memory are mixedly mounted.
- the various functions described above can be realized by the processor of the control device 5317 operating according to a predetermined program.
- the control device 5317 is provided as a separate device from the observation device 110, but the control device 5317 is installed inside the base portion 5315 of the observation device 110 and integrated with the observation device 110. May be configured.
- the control device 5317 may be configured by a plurality of devices.
- a control board or the like is provided in each of the microscope unit 111 and the first joint unit 5311a to the sixth joint unit 5311f of the arm unit 112, and these are connected to be able to communicate with each other. May be realized.
- control device 5317 may be the same as the control device 140 of the above-described surgical system 10, 10a. That is, the control device 5317 may have the same function as the control device 140, and may control the operation of the observation device 110 and the operations of the surgical systems 10 and 10a in an integrated manner.
- the intrusion suppression action is performed when the operator operates the arm unit by a hands-free operation, but the technology according to the present disclosure is not limited to such an example.
- the technology according to the present disclosure may be applied to a surgical system in which an arm unit is operated by a master slave method.
- the master slave method since the operator remotely operates the arm unit, the operator operates the arm unit without directly looking at the movement of the arm unit as in the hands-free operation. Therefore, the same effect can be obtained by applying the technology according to the present disclosure.
- the technique according to the present disclosure can be suitably applied to a surgical system in a state in which an operator operates the arm unit in a non-contact state with the arm unit.
- the intrusion suppression action the operation of the arm unit that avoids intrusion into the intrusion propriety area and the output of the warning are performed, but the technology according to the present disclosure is in this example It is not limited.
- the intrusion suppression action may be an action that can suppress the intrusion into the intrusion propriety area of the arm part, and the type thereof is not limited.
- the intrusion suppression action only one of the operation of the arm unit that avoids intrusion into the intrusion appropriateness area and the output of a warning may be performed.
- various actions may be performed as an intrusion suppression action in order to alert the surgeon to the intrusion appropriate area of the arm part.
- an action that urges the arm portion to enter the penetration suitability area for example, an action such as gradually decreasing the operation speed of the arm section as the arm portion approaches the penetration suitability area can be considered. If the operation speed of the arm part is slowed down, the operation speed of the microscope part 111 is also slowed down, so that the speed of visual field movement in the surgical part image viewed by the surgeon is also reduced. The surgeon can recognize that the arm portion is approaching the penetration suitability region due to the slow speed of visual field movement in the surgical site image. In addition, as the invasion suppression action, any action that is generally used as feedback to the operator when performing some kind of alerting to the operator in the operation of the support arm device may be employed.
- a drive control unit that controls the drive of the arm unit that supports the medical instrument
- An area setting unit that sets an intrusion propriety area on the space on which the suitability of intrusion of the medical instrument or the arm part is determined based on a surrounding image showing a state around the medical instrument or the arm part; and
- driving of the arm unit is controlled by the drive control unit in response to a non-contact operation on the arm unit by a user, it is determined whether or not the medical instrument or the arm unit has entered the penetration suitability region.
- An intrusion detection unit In response to the determination result by the intrusion determination unit, an action instruction unit that executes an intrusion suppression action for suppressing intrusion into the intrusion propriety region of the medical instrument or the arm unit, Comprising Control device.
- the intrusion suppression action is at least one of an operation of the arm unit that avoids intrusion into the intrusion suitability area and an output of a warning.
- the intrusion propriety area is an intrusion prohibition area that is an area where the medical instrument or the arm part is prohibited from entering within the movable range of the arm part, the medical instrument or An intrusion caution area, which is an area where the arm part is allowed to partially enter, and an intrusion, which is an area where the medical instrument or the arm part is allowed to enter within the movable range of the arm part Including at least one of the permitted areas,
- the surrounding image includes a state in the operating room,
- the intrusion prohibited area includes an area where a patient and / or surgical equipment around the patient bed exists.
- the surrounding image includes a state in the operating room,
- the invasion caution area includes an area where at least one of a cable suspended in the operating room and a cloth suspended in the operating room exists.
- the surrounding image includes a state in the operating room,
- the intrusion permitted area includes an area where medical staff exists,
- the action instruction unit provides an instruction to stop the operation of the arm unit, and a warning. Issue instructions to output, The control device according to any one of (3) to (6).
- the arm portion is configured to have a redundant degree of freedom with respect to movement of the medical instrument
- the action instruction unit is configured to maintain the position and posture of the medical instrument while the arm unit is maintained. Issuing an instruction to operate the arm unit so as not to enter the invasion caution area, and an instruction to output a warning, The control device according to any one of (3) to (7).
- the action instruction unit issues an instruction to output a warning; The control device according to any one of (3) to (8).
- the non-contact operation on the arm unit by the user includes a hands-free operation in which the user operates the arm unit without using a hand,
- the hands-free operation includes an operation via at least one of voice, line of sight, head track, gesture, and foot switch.
- Non-contact operation on the arm unit by the user includes operation of the arm unit by a master slave method.
- the medical instrument is an electronic imaging microscope unit that magnifies and images an observation target.
- An intrusion propriety area where the propriety of the intrusion of the medical instrument or the arm part is determined based on a surrounding image showing a state around the medical instrument or the arm part supporting the medical instrument in space Set to Determining whether or not the medical instrument or the arm part has entered the intrusion propriety area when controlling the driving of the arm part according to a non-contact operation on the arm part by a user; Performing an intrusion suppression action for suppressing intrusion of the medical instrument or the arm part into the intrusion suitability area according to a determination result of whether or not the medical instrument or the arm part has intruded into the intrusion propriety area And letting including, Control method.
- a microscope part that is supported by the arm part and magnifies and images the surgical part A display device for displaying an image of the surgical part taken by the microscope unit; A surrounding image acquisition camera that captures a surrounding image showing a state around the microscope unit or the arm unit; A drive control unit for controlling the drive of the arm unit; An area setting unit that sets, on the space, an intrusion propriety area in which whether or not the microscope unit or the arm unit is intrusive is determined based on the surrounding image captured by the surrounding image acquisition camera; An intrusion that determines whether the microscope unit or the arm unit has entered the penetration suitability area when the drive control unit controls the driving of the arm unit in response to a non-contact operation on the arm unit by a user. A determination unit; In accordance with the determination result by the intrusion determination unit, an action instruction unit that executes an intrusion suppression action for suppressing intrusion into the intrusion suitability region of the microscope unit or the arm unit, Comprising Surgery system.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
より安全性を向上させることが可能な、制御装置、制御方法及び手術システムを提案する。医療用器具(111)を支持するアーム部(112)の駆動を制御する駆動制御部(146)と、前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部(142)と、ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部(144)と、前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部(145)と、を備える、制御装置を提供する。
Description
本開示は、制御装置、制御方法及び手術システムに関する。
近年、医療現場においては、検査や手術をサポートするために支持アーム装置が用いられつつある。例えば、支持アーム装置のアーム部によって内視鏡や顕微鏡等の術部を拡大観察するための観察用器具を支持し、当該観察用器具によって撮影された画像を見ながら医師が検査や手術を行う方法が提案されている。あるいは、アーム部の先端に鉗子やレトラクタ等の処置具を設け、従来人手で行われていた処置具の支持や操作を、支持アーム装置に行わせる方法も提案されている。なお、以下の説明では、支持アーム装置のアーム部の先端に設けられる観察用器具又は処置具等のことを、医療用器具と総称する。また、以下の説明では、アーム部の先端に観察用器具が設けられた支持アーム装置のことを観察装置とも呼称する。
また、このような支持アーム装置を用いた手術を対象とした支援システムが開発されている。例えば、特許文献1には、マニピュレータによって医療用器具を支持し、当該マニピュレータを操作することによって手術を行う手術システムに対する支援システムが開示されている。特許文献1に記載の技術では、MRI(Magnetic Resonance Imaging)装置によって撮影された患者の術部の3次元情報に基づいて、ユーザによって、当該術部に対して、医療用器具が動作してもよい領域又は経路が設定される。そして、手術中には、医療用器具の位置をセンシングするとともに、当該医療用器具が設定された領域又は経路から外れそうになった場合に、警告が発せられる。当該技術によれば、医療用器具が患者の身体の意図せぬ部位に接触してしまう事態を回避し、より安全な手術を実現することが可能になると考えられる。
しかしながら、特許文献1に記載の技術では、MRI装置で事前に撮影された患者の術部の3次元情報に基づいて、上記領域又は上記経路が設定される。実際の手術時における患者の体腔内の状況は、必ずしも手術前に取得された情報に基づく3次元情報とは一致しない場合があるため、このような場合には、特許文献1に記載の技術では、警告が有効に働かず、安全を十分に確保できない恐れがある。また、特許文献1に記載の技術では、マニピュレータ(すなわち、アーム部)によって支持される医療用器具と、患者の身体との接触を防止することしか考慮されていない。一方、実際の手術現場では、ユーザの操作によるアーム部の移動に伴い、アーム部と周囲の物体(例えば、患者のドレープやメーヨー台(手術器具台)、医療スタッフ、手術機器等)との接触も生じ得る。このような接触が生じれば、アーム部の移動が妨げられることとなり、手術の円滑な実行が困難になる。従って、更に安全な手術を実現するためには、アーム部と周囲の物体との接触も考慮する必要がある。
これに対して、例えば工場において製品の組み立てや溶接作業、塗装作業等に用いられる産業用の多関節ロボット装置においては、そのアーム部と周囲の障害物との干渉を回避するための技術が開発されている。例えば、特許文献2には、冗長自由度を有するアーム部を備えた多関節ロボット装置において、当該アーム部の先端に設けられるエンドエフェクタの位置及び姿勢を固定したまま、干渉を回避し得るようにアーム部の駆動を制御する方法が開示されている。特許文献2に記載の技術のような、産業用の多関節ロボット装置における干渉回避技術を、医療用の支持アーム装置の駆動制御に応用することにより、より安全な手術を実現できる可能性がある。
ここで、特許文献2に記載の技術では、障害物に対して設定された比較基準点と、多関節ロボット装置に対して設定された比較対象点と、の距離が最大になるようにアーム部の駆動を制御することにより、干渉を回避するような当該アーム部の動作を実現している。産業用の多関節ロボット装置では、例えば流れ作業において同じ作業を繰り返し行うことが想定され、当該多関節ロボット装置と回避対象である障害物との位置関係もほぼ変化しないと考えられるため、このような事前に設定された比較基準点及び比較対象点を用いた駆動制御であっても、一定の効果を奏することが可能であると考えられる。
一方、医療用の支持アーム装置については、手術中に周囲の物体が頻繁に移動することが想定される。従って、特許文献2に記載の技術をそのまま適用したとしても、アーム部と周囲の物体との干渉を効果的に抑制することは困難であると考えられる。
上記事情に鑑みれば、医療用の支持アーム装置においては、より安全にそのアーム部の駆動を制御する技術が求められていた。そこで、本開示では、より安全性を向上させることが可能な、新規かつ改良された制御装置、制御方法及び手術システムを提案する。
本開示によれば、医療用器具を支持するアーム部の駆動を制御する駆動制御部と、前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、を備える、制御装置が提供される。
また、本開示によれば、プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、を含む、制御方法が提供される。
また、本開示によれば、アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、前記アーム部の駆動を制御する駆動制御部と、前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、を備える、手術システムが提供される。
本開示によれば、医療用器具又はアーム部の周囲の様子を示す周囲画像に基づいて、侵入適否領域が設定される。そして、ユーザによる非接触の操作に応じて当該アーム部の駆動が制御される際に、当該侵入適否領域に対する当該医療用器具又は当該アーム部の侵入の有無に応じて、侵入抑制アクションが実行される。当該構成によれば、実際の周囲の様子を反映して侵入適否領域が設定されるため、より適切に当該侵入適否領域を設定することができるとともに、より適切に侵入抑制アクションを実行することができる。よって、より安全なアーム部の駆動制御が実現し得る。
以上説明したように本開示によれば、より安全性を向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.手術システムの構成
1-1.概略構成
1-2.機能構成
2.制御方法
3.変形例
4.観察装置の構成例
5.補足
1.手術システムの構成
1-1.概略構成
1-2.機能構成
2.制御方法
3.変形例
4.観察装置の構成例
5.補足
なお、以下では、本開示の一例として、支持アーム装置が、そのアーム部の先端に術部を拡大して撮影する機能を有する電子撮像式の顕微鏡部が設けられる観察装置であり、当該観察装置を用いて手術(例えば、脳外科手術、眼科手術又は心臓外科手術等)が行われる実施形態について説明する。ただし、本開示はかかる例に限定されない。本開示に係る技術は、アーム部の先端に支持される医療用器具の種類にかかわらず、あらゆる種類の支持アーム装置に適用されてよい。また、本開示に係る技術が適用される医療行為は、手術に限定されず、検査等、各種の医療行為であってよい。本開示に係る技術は、支持アーム装置の駆動制御においてより高い安全性を実現するものであり、アーム部の先端に支持される医療用器具の種類や、当該技術が適用される医療行為の内容によらず、同様の効果を奏することが可能である。
また、以下の説明では、後述する手術システムを用いるユーザ、及び後述する観察装置を操作するユーザのことを、便宜的に術者と記載することとする。ただし、この記載は、手術システムを用いるユーザ、及び観察装置を操作するユーザを限定するものではなく、当該観察システムを用いる主体、及び観察装置を操作する主体は、助手や看護師等、他の医療スタッフであってもよい。
(1.手術システムの構成)
(1-1.概略構成)
図1を参照して、本開示の好適な一実施形態に係る手術システムの概略構成について説明する。図1は、本実施形態に係る手術システムの概略構成を示す図である。図1では、本実施形態に係る手術システム10を用いて、術者201が、患者ベッド203上の患者205に対して手術を行っている様子を概略的に示している。
(1-1.概略構成)
図1を参照して、本開示の好適な一実施形態に係る手術システムの概略構成について説明する。図1は、本実施形態に係る手術システムの概略構成を示す図である。図1では、本実施形態に係る手術システム10を用いて、術者201が、患者ベッド203上の患者205に対して手術を行っている様子を概略的に示している。
図1を参照すると、本実施形態に係る手術システム10は、観察装置110と、表示装置120と、周囲画像取得用カメラ130と、制御装置140と、マイクロフォン151と、眼鏡型ウェアラブルデバイス152と、フットスイッチ153と、動作認識用カメラ154と、を備える。なお、詳しくは後述するが、マイクロフォン151、眼鏡型ウェアラブルデバイス152、フットスイッチ153及び動作認識用カメラ154は、ハンズフリーモードにおける術者201の操作を受け付けるための入力装置として機能する。従って、以下の説明では、これらを総称してハンズフリー入力装置とも呼称することとする。
(観察装置)
観察装置110は、顕微鏡部111と、顕微鏡部111を先端で支持するアーム部112と、を備える。なお、図1では、簡単のため、観察装置110の構成を簡略化して図示している。観察装置110の具体的な構成例については、下記(4.観察装置の構成例)で改めて詳細に説明する。
観察装置110は、顕微鏡部111と、顕微鏡部111を先端で支持するアーム部112と、を備える。なお、図1では、簡単のため、観察装置110の構成を簡略化して図示している。観察装置110の具体的な構成例については、下記(4.観察装置の構成例)で改めて詳細に説明する。
顕微鏡部111は、筐体内に、撮像素子、及び当該撮像素子に観察対象からの光(観察光)を導光するための光学系等が格納されて構成される。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。このように、顕微鏡部111は、電子的に画像を撮影する、電子撮像式の顕微鏡部である。顕微鏡部111は、取得した画像信号を制御装置140に送信する。
顕微鏡部111の光学系は、焦点距離を調整するためのフォーカスレンズ、及び倍率を調整するためのズームレンズを有する。顕微鏡部111には、これらフォーカスレンズ及びズームレンズを光軸方向に移動させるための駆動機構が設けられている。制御装置140からの制御によって当該駆動機構を介してフォーカスレンズ及びズームレンズの位置が適宜移動させられることにより、顕微鏡部111の焦点距離及び倍率が調整される。
また、本実施形態では、顕微鏡部111は、1対の撮像素子を有するステレオカメラとして構成される。つまり、顕微鏡部111は、3D表示のための画像信号を取得する。
アーム部112は、複数のリンクが複数の関節部によって互いに回動可能に連結されることによって構成される。各関節部にはアクチュエータが設けられており、制御装置140からの制御によってこれらのアクチュエータの駆動が制御されることにより、アーム部の姿勢、並びに顕微鏡部111の位置及び姿勢が制御される。手術時には、術者201による操作によって、顕微鏡部111によって術部が撮影されるように、アーム部112の姿勢、並びに顕微鏡部111の位置及び姿勢が適宜調整される。
本実施形態では、アーム部112は、冗長自由度を有するように構成される。ここで、冗長自由度を有するとは、顕微鏡部111について所望の位置及び姿勢を実現するために必要な最低限の自由度よりも多い自由度を有することを意味する。例えば、一般的に、顕微鏡部111の動きに関して、並進3自由度及び回転3自由度の計6自由度を有するようにアーム部112が構成されれば、当該アーム部112の可動範囲内において顕微鏡部111の位置及び姿勢を自由に制御することが可能になる。従って、本実施形態では、アーム部112は、顕微鏡部111の動きに関して6自由度よりも大きい自由度(例えば7自由度又は8自由度)を有するように構成される。冗長自由度を有することにより、例えば、顕微鏡部111の位置及び姿勢を固定した状態で、アーム部112の姿勢のみを変更するように、当該アーム部112を駆動させることが可能になる。
(表示装置)
表示装置120は、患者ベッド203を挟んで術者201と対向する位置に配置される。表示装置120には、制御装置140からの制御により、観察装置110の顕微鏡部111によって撮影された術部の画像が映し出される。術者201は、表示装置120に映し出された画像によって術部を観察しながら、当該術部に対して各種の処置を行う。
表示装置120は、患者ベッド203を挟んで術者201と対向する位置に配置される。表示装置120には、制御装置140からの制御により、観察装置110の顕微鏡部111によって撮影された術部の画像が映し出される。術者201は、表示装置120に映し出された画像によって術部を観察しながら、当該術部に対して各種の処置を行う。
また、表示装置120としては、眼鏡式の3Dディスプレイが用いられる。これにより、立体視が可能になるため、術者201が術部をより正確に観察することが可能になる。なお、表示装置120の具体的な構成が限定されず、表示装置120としては、例えば液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
また、表示装置120は、術部画像に代えて、又は術部画像とともに、手術に関する各種の情報(例えば、患者205の身体的データや、前もって行われた検査の結果、術式についての情報等)を表示してもよい。この表示の切り替えは、術者201による任意の操作に応じて実行されてよい。
(周囲画像取得用カメラ)
周囲画像取得用カメラ130は、観察装置110の顕微鏡部111に設けられ、顕微鏡部111及びアーム部112の周囲の様子を示す周囲画像を撮影する。周囲画像取得用カメラ130は、可能な限り広い範囲の画像を撮影可能なように、例えば広角レンズを有するカメラとして構成される。また、全周囲の画像を得るために、複数の周囲画像取得用カメラ130が顕微鏡部111に設けられてもよい。周囲画像取得用カメラ130は、撮影した周囲画像に係る画像信号を制御装置140に送信する。なお、本実施形態では、便宜的に、周囲画像を、「顕微鏡部111「及び」アーム部112の周囲の様子を示す画像」としているが、本開示はかかる例に限定されない。例えば、周囲画像は、「顕微鏡部111「又は」アーム部112の周囲の様子を示す画像」であってもよい。周囲画像は、「顕微鏡部111「及び/又は」アーム部112の周囲の様子を示す画像」として設定されればよく、実装時に周囲画像をどのように設定するかは、術者又は手術システム10の設計者等によって適宜設定されてよい。
周囲画像取得用カメラ130は、観察装置110の顕微鏡部111に設けられ、顕微鏡部111及びアーム部112の周囲の様子を示す周囲画像を撮影する。周囲画像取得用カメラ130は、可能な限り広い範囲の画像を撮影可能なように、例えば広角レンズを有するカメラとして構成される。また、全周囲の画像を得るために、複数の周囲画像取得用カメラ130が顕微鏡部111に設けられてもよい。周囲画像取得用カメラ130は、撮影した周囲画像に係る画像信号を制御装置140に送信する。なお、本実施形態では、便宜的に、周囲画像を、「顕微鏡部111「及び」アーム部112の周囲の様子を示す画像」としているが、本開示はかかる例に限定されない。例えば、周囲画像は、「顕微鏡部111「又は」アーム部112の周囲の様子を示す画像」であってもよい。周囲画像は、「顕微鏡部111「及び/又は」アーム部112の周囲の様子を示す画像」として設定されればよく、実装時に周囲画像をどのように設定するかは、術者又は手術システム10の設計者等によって適宜設定されてよい。
ここで、詳しくは後述するが、周囲画像は、侵入適否領域を設定するための距離情報付き周囲画像(周囲画像に対して、顕微鏡部111及びアーム部112と周囲の物体との距離情報が付加された画像)を表示するために用いられる。従って、周囲画像取得用カメラ130としては、距離情報を取得可能なもの(例えばステレオカメラ等)が用いられる。周囲画像取得用カメラ130によって取得された当該距離情報も、画像信号とともに制御装置140に送信される。
(制御装置)
制御装置140は、手術システム10の動作を統合的に制御する。具体的には、制御装置140は、術者201の操作に応じてアーム部112の駆動を制御し、顕微鏡部111の位置及び姿勢(すなわち、撮影範囲及び撮影方向)を制御する。また、制御装置140は、術者201の操作に応じて、顕微鏡部111の撮影条件(焦点距離及び倍率等)を制御する。また、制御装置140は、表示装置120における表示を制御する。
制御装置140は、手術システム10の動作を統合的に制御する。具体的には、制御装置140は、術者201の操作に応じてアーム部112の駆動を制御し、顕微鏡部111の位置及び姿勢(すなわち、撮影範囲及び撮影方向)を制御する。また、制御装置140は、術者201の操作に応じて、顕微鏡部111の撮影条件(焦点距離及び倍率等)を制御する。また、制御装置140は、表示装置120における表示を制御する。
ここで、アーム部112の各関節部に設けられるアクチュエータには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載される。当該エンコーダの検出値は、随時制御装置140に送信されており、制御装置140は、このエンコーダの検出値を用いて、アーム部112の駆動制御を行うことができる。具体的には、制御装置140は、当該エンコーダによって検出された各関節部の回転角度についての情報と、制御装置140に予め入力されているアーム部112の内部モデル(アーム部112の駆動制御に用いられる制御モデルであり、制御対象であるアーム部112の幾何的な情報、及びアーム部112の運動についての情報を含むモデル)と、に基づいて、現在のアーム部112の状態(具体的には、アーム部112の現在の姿勢、並びに顕微鏡部111の現在の位置及び姿勢)を把握することができる。制御装置140は、把握したこれらの情報を用いて、術者201からの操作に応じた顕微鏡部111の移動を実現するような各関節部に対する制御値(例えば、位置制御であれば回転角度、又は力制御であれば発生トルク等)を算出し、当該制御値に従って各関節部の駆動機構を駆動させる。これにより、術者201の操作に応じたアーム部112の駆動制御が実現され得る。
また、制御装置140は、アーム部112の動作モードを設定する。ここで、動作モードとは、制御装置140がアーム部112の駆動制御を行う際における、術者201による操作の種類に応じたアーム部112の動作モードのことである。具体的には、動作モードには、手動モード及びハンズフリーモードが存在する。
手動モードとは、術者201が手で顕微鏡部111及びアーム部112に直接触れ、当該アーム部112に力を加えながら当該アーム部112を移動させる操作に応じて、当該アーム部112の駆動が制御される動作モードのことである。以下の説明では、この手動モードに係る操作のことを、便宜的に、直接的な操作とも呼称することとする。例えば、手動モードでは、制御装置140は、力制御によってアーム部112を駆動させる。この際、制御装置140は、術者201からの外力を受け、その外力にならってスムーズにアーム部112が移動するように各関節部のアクチュエータを駆動させる、いわゆるパワーアシスト制御を行うことができる。パワーアシスト制御では、術者201の直接的な操作をサポートするようにアーム部112の駆動が制御されることとなるため、術者201に、あたかも無重力下でアーム部112を移動させているかのような軽い操作感を与えることができ、術者201の操作性を向上させることができる。
一方、ハンズフリーモードとは、術者201が自身の手を用いずに行う操作に応じて、アーム部112の駆動が制御される動作モードのことである。以下の説明では、このハンズフリーモードに係る操作のことを、便宜的に、ハンズフリー操作とも呼称することとする。具体的には、本実施形態では、ハンズフリー操作は、音声、視線、頭部の動き(いわゆる、ヘッドトラック)、ジェスチャ、及びフットスイッチ153を介した脚部による操作を含む。例えば、ハンズフリーモードでは、制御装置140は、位置制御によって、術者201がハンズフリー操作によって指定した移動量だけ顕微鏡部111が移動するように、アーム部112を駆動させる。
手術時には、術者201の両手は処置具を把持しているため、ハンズフリーモードで手を用いずにアーム部112の駆動制御を行うことができることにより、術者201は、顕微鏡部111の操作のために処置具を一旦手放す必要がない。また、ハンズフリーモードで手を用いずにアーム部112の駆動制御を行うことができることにより、術者201は、顕微鏡部111の操作のために不潔域に存在する入力装置等に手で触れる必要がない。このように、ハンズフリーモードでアーム部112を操作することにより、手術をより円滑に行うことが可能になる。
なお、この動作モードの切り替えは、術者201による任意の指示入力(例えば、ハンズフリー入力装置を介した指示入力や、スイッチ等の他の入力装置を介した指示入力)によって行われてよい。
また、制御装置140は、アーム部112の駆動制御に際して、周囲画像取得用カメラ130によって撮影された周囲画像に基づいて、空間上に顕微鏡部111及びアーム部112の侵入の適否が判断される領域(以下、侵入適否領域とも呼称する)を設定する。そして、制御装置140は、術者201のハンズフリー操作に応じてアーム部112を駆動させている間に、当該侵入適否領域に対して顕微鏡部111及びアーム部112が侵入した場合には、例えばアーム部112の動作を停止させる、及び/又は警告を出力させる等の、侵入適否領域へのアーム部112の侵入を抑制するためのアクション(以下、侵入抑制アクションとも呼称する)を実行させる。なお、制御装置140の具体的な機能については、下記(1-2.機能構成)で改めて詳細に説明する。なお、本実施形態では、便宜的に、侵入適否領域(具体的には、後述する侵入禁止領域、侵入注意領域、及び侵入許可領域)を、「顕微鏡部111「及び」アーム部112の侵入の適否が判断される領域」としているが、本開示はかかる例に限定されない。例えば、侵入適否領域は、「顕微鏡部111「又は」アーム部112の侵入の適否が判断される領域」であってもよい。侵入適否領域は、「顕微鏡部111「及び/又は」アーム部112の侵入の適否が判断される領域」として設定されればよく、実装時に侵入適否領域をどのように設定するかは、術者又は手術システム10の設計者等によって適宜設定されてよい。
なお、制御装置140は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、又はPC(Personal Computer)等の一般的な情報処理装置等であり得る。制御装置140を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現され得る。
(ハンズフリー入力装置)
ハンズフリー入力装置は、術者201によるハンズフリー操作を受け付けるための入力装置の総称である。具体的には、本実施形態では、ハンズフリー入力装置として、マイクロフォン151、眼鏡型ウェアラブルデバイス152、フットスイッチ153及び動作認識用カメラ154が設けられる。
ハンズフリー入力装置は、術者201によるハンズフリー操作を受け付けるための入力装置の総称である。具体的には、本実施形態では、ハンズフリー入力装置として、マイクロフォン151、眼鏡型ウェアラブルデバイス152、フットスイッチ153及び動作認識用カメラ154が設けられる。
マイクロフォン151及び眼鏡型ウェアラブルデバイス152は、術者201に装着される。マイクロフォン151は、術者201の音声を収音し、その音声に係る音声信号を制御装置140に送信する。制御装置140は、マイクロフォン151から送信されてくる音声信号を受信し、音声認識処理を行うことにより、術者201による音声を介した操作を認識する。
眼鏡型ウェアラブルデバイス152には、術者201の視線を検出する視線検出センサが搭載される。眼鏡型ウェアラブルデバイス152の視線検出センサは、術者201の視線についての検出結果を制御装置140に送信する。制御装置140は、当該検出結果を解析することにより、術者201による視線を介した操作を認識する。なお、眼鏡型ウェアラブルデバイス152は、表示装置120において3D表示を見るための3D眼鏡としての機能も備えている。
フットスイッチ153は、術者201の脚部による操作内容を示す操作信号を制御装置140に送信する。制御装置140は、当該操作信号に基づいて、術者201によるフットスイッチ153を介した操作を認識する。
動作認識用カメラ154は、術者201の姿を撮影し得る位置に配置される。図示する例では、動作認識用カメラ154は、術者201と対向して設けられる表示装置120の上部に設けられている。動作認識用カメラ154は、撮影した術者201の画像に係る画像信号を制御装置140に送信する。制御装置140は、当該画像信号に基づいて画像認識処理を行うことにより、術者201のヘッドトラック及びジェスチャを検出し、動作認識用カメラ154を介した操作を認識する。なお、術者201の頭部にはマーカ155が装着されており、制御装置140は、動作認識用カメラ154によって撮影された術者201の画像の中から当該マーカ155の動きを検出することにより、術者201のヘッドトラックの方向及び移動量を認識することができる。
制御装置140は、ハンズフリー入力装置を介した術者201による操作に基づいて、上述した顕微鏡部111の位置及び姿勢の制御、顕微鏡部111の撮影条件の制御、及び表示装置120における表示の制御を行う。なお、どのような操作に応じて具体的にどのような制御を行うかは、任意に設定可能である。例えば、顕微鏡部111の位置及び姿勢の制御であれば、術者201の操作に「方向」の概念を有する指示が含まれている場合には、当該「方向」の概念を有する指示に従って顕微鏡部111が移動するように、アーム部112が駆動され得る。また、例えば、指示内容に「傾き」の概念を有する指示が含まれている場合には、当該「傾き」の概念を有する指示に従って顕微鏡部111が姿勢を変更するように、アーム部112が駆動され得る。
以上、本実施形態に係る手術システム10の概略構成について説明した。なお、手術システム10の構成は、以上説明した構成例に限定されない。例えば、手術システム10では、観察装置110の顕微鏡部111はステレオカメラとして構成されなくてもよく、例えば単板の撮像素子を有するように構成され、2D表示用の画像信号を取得してもよい。この場合には、表示装置120としても、2D表示に対応したものが用いられ、当該表示装置120は、術部の画像を2D表示することとなる。また、例えば、手術システム10では、観察装置110のアーム部112は、顕微鏡部111の動きに関して冗長自由度を有するように構成されなくてもよい。例えば、アーム部112は、6自由度以下の任意の自由度を有するように構成されてもよい。ただし、手術時には多様な方向から術部を撮影したいという要望が存在し得るため、顕微鏡部111を自由に移動させるために、アーム部112は、少なくとも6自由度を有するように構成されることが好ましい。
また、上記の構成例では、周囲画像取得用カメラ130が顕微鏡部111に取り付けられていたが、本実施形態はかかる例に限定されない。周囲画像取得用カメラ130は、顕微鏡部111及びアーム部112の周囲の画像を取得可能であればよく、その設置位置は任意であってよい。例えば、周囲画像取得用カメラ130は、手術室の天井に設けられる、いわゆる術場カメラであってもよい。
また、ハンズフリー入力装置の種類も上述した例に限定されない。ハンズフリー入力装置は、術者201が手を用いずに操作入力可能な装置であればよく、ハンズフリー入力装置としては任意の装置が適用されてよい。
(1-2.機能構成)
図2を参照して、図1に示す手術システム10の機能構成について説明する。図2は、本実施形態に係る手術システム10の機能構成の一例を示すブロック図である。
図2を参照して、図1に示す手術システム10の機能構成について説明する。図2は、本実施形態に係る手術システム10の機能構成の一例を示すブロック図である。
図2では、図1に示す手術システム10を構成する各装置(観察装置110の顕微鏡部111及びアーム部112、表示装置120、周囲画像取得用カメラ130、制御装置140、並びにハンズフリー入力装置150)、及び手術システム10が有する各機能を、模擬的にブロックによって示している。観察装置110、表示装置120、周囲画像取得用カメラ130及びハンズフリー入力装置150の構成及び機能については図1を参照して既に説明しているため、ここでは、制御装置140の機能について詳細に説明する。
なお、図1では図示及び説明を省略していたが、図2に示すように、手術システム10は、手動入力装置170及び警告出力部180を更に備える。手動入力装置170は、ハンズフリー入力装置150以外の入力装置であり、術者201が手で触れて操作入力を行う入力装置である。手動入力装置170は、例えばタッチパネル、レバー、スイッチ等である。また、警告出力部180は、術者201に対して視覚的、聴覚的及び/又は触覚的に警告を出力する機能を有する。例えば、警告出力部180は、ランプ、ブザー、及び/又は術者201に装着されたバイブレーション装置等によって構成される。当該バイブレーション装置は、例えば眼鏡型ウェアラブルデバイス152に設けられてもよいし、別個の装置として設けられてもよい。あるいは、警告出力部180は、表示装置120を含む任意の表示装置によって構成され、警告を示す光や文字等を当該表示装置に表示してもよい。本実施形態では、警告出力部180を構成する装置は任意であってよく、警告の様態も任意であってよい。
図示するように、制御装置140は、その機能として、操作認識部160と、画像処理部141と、領域設定部142と、動作モード設定部143と、侵入判定部144と、アクション指示部145と、駆動制御部146と、警告制御部147と、を有する。
(処置前における処理)
まず、手術のセッティングが終了した後、術者201が術部に対して各種の処置を行う前に実行される処理に係る機能について説明する。なお、手術のセッティングとは、具体的には、患者205の手術室内への搬入、術部を露出させるための作業(脳外科手術であれば開頭作業)、並びに医療スタッフ及び手術機器の配置等であり得る。
まず、手術のセッティングが終了した後、術者201が術部に対して各種の処置を行う前に実行される処理に係る機能について説明する。なお、手術のセッティングとは、具体的には、患者205の手術室内への搬入、術部を露出させるための作業(脳外科手術であれば開頭作業)、並びに医療スタッフ及び手術機器の配置等であり得る。
手術のセッティングが終了し、術者201が処置を行う前において、画像処理部141は、周囲画像取得用カメラ130によって取得された周囲画像についての画像信号に対して、当該術部画像を表示装置120に表示させるための各種の画像処理を行う。そして、当該画像処理を施した画像信号を表示装置120に送信するとともに、当該画像信号に基づいて表示装置120に周囲画像を表示させる。なお、上記画像処理では、例えば、現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
図3は、周囲画像取得用カメラ130によって取得された周囲画像の一例を示す図である。図3に示すように、周囲画像には、顕微鏡部111及びアーム部112と、その周囲の物体が含まれ得る。図示する例であれば、周囲の物体として、術者201、他の医療スタッフ207、患者205、表示装置120、各種の手術機器209等が映し出されている。なお、図3、及び後述する4及び図5では、一例として、周囲画像取得用カメラ130が手術室の天井に設けられた場合に取得され得る画像を示している。
また、画像処理部141は、周囲画像に基づいて、顕微鏡部111及びアーム部112と、周囲の物体(例えば、術者201、患者205、他の医療スタッフ207、及び各種の手術機器209等)との距離を解析し、周囲画像に対してその距離情報を付加した距離情報付き周囲画像を表示装置120に表示させる。
図4は、距離情報付き周囲画像の一例を示す図である。図4に示すように、距離情報は、例えば、顕微鏡部111及びアーム部112と周囲の物体との距離をいくつかの段階に分類し、この分類に応じて周囲画像を領域分けし、当該領域に対して段階ごとに異なる色を付すことによって、示される。図示する例では、顕微鏡部111及びアーム部112との距離が極近い物体が存在する領域301、顕微鏡部111及びアーム部112との距離が近い物体が存在する領域303、顕微鏡部111及びアーム部112との距離が中程度の物体が存在する領域305、及び顕微鏡部111及びアーム部112との距離が遠い物体が存在する領域307、の4つの領域に周囲画像が領域分けされ、各領域301~307にそれぞれ異なる色が付されることにより、距離情報が示されている。これらの領域のうち、領域301~305は、アーム部112の可動範囲内の領域、すなわち、駆動時に顕微鏡部111及びアーム部112が侵入する可能性がある領域であり、領域307は、アーム部112の可動範囲外の領域である。
更に、画像処理部141は、距離情報付き周囲画像に基づいて、侵入適否領域を設定するためのGUI(Graphical User Interface)に係る表示を、表示装置120に表示させる。当該GUIの詳細については、図5を参照して後述する。
領域設定部142は、周囲画像に基づいて空間上に侵入適否領域を設定する。本実施形態では、領域設定部142は、侵入適否領域を設定するためのGUIを介して行われる術者201による領域選択操作に応じて、空間上に当該侵入適否領域を設定する。
図5は、侵入適否領域を設定するためのGUIの一例について説明するための図である。図示するように、侵入適否領域を設定するためのGUIでは、距離情報付き周囲画像が表示装置120に表示される。当該GUIでは、距離情報付き周囲画像において顕微鏡部111及びアーム部112からの距離に応じて分類されている各領域301~307を、術者201が手動入力装置170を介して適宜選択することにより、これらの領域ごとに侵入適否領域を設定することができる。この際、領域301~307がそれぞれ複数存在する場合には、その1つずつの領域に対して侵入適否領域を設定することができる。例えば、手動入力装置170がタッチパネルである場合には、当該タッチパネルが表示装置120と一体的に構成されており、術者201は、表示画面上の領域301~307に指、スタイラス等で直接触れることにより、侵入適否領域として設定する領域を選択することができる。あるいは、手動入力装置170は、マウス等のポインティングデバイスであってもよく、術者201は、当該ポインティングデバイスを介して表示画面上のポインタを操作することにより、領域301~307の中から侵入適否領域として設定する領域を選択してもよい。
ここで、本実施形態では、侵入適否領域として、3種類の領域、すなわち侵入禁止領域311、侵入注意領域313及び侵入許可領域315が設定される。侵入禁止領域311は、アーム部112の可動範囲内の領域であって、安全の観点から、顕微鏡部111及びアーム部112が侵入することが禁止される領域である。例えば、図示するように、術者201は、上記GUIにおいて、アーム部112の可動範囲に属する領域301~305の中から、患者205や手術機器等、顕微鏡部111及びアーム部112と接触してはいけない物体が存在する領域を、侵入禁止領域311として選択する。
侵入注意領域313は、アーム部112の可動範囲内の領域であって、注意を払う必要はあるものの、顕微鏡部111及びアーム部112が部分的に侵入しても差し支えない領域である。例えば、図示するように、術者201は、上記GUIにおいて、アーム部112の可動範囲に属する領域301~305の中から、例えば手術室内に懸架されたケーブルや布等、顕微鏡部111及びアーム部112と接触したとしても柔軟に変形可能な物体が存在する領域を、侵入注意領域313として選択する。
侵入許可領域315は、アーム部112の可動範囲内の領域であって、現状は物体が存在するものの、顕微鏡部111及びアーム部112が侵入しても差し支えない領域である。例えば、図示するように、術者201は、上記GUIにおいて、アーム部112の可動範囲に属する領域301~305の中から、例えば医療スタッフ(助手や看護師等)等、顕微鏡部111及びアーム部112が近付いてきた場合に避けることが可能な物体が存在する領域を、侵入許可領域315として選択する。
領域設定部142は、この術者201による選択操作に応じて、空間上に侵入禁止領域、侵入禁止注意領域及び侵入許可領域を設定する。そして、領域設定部142は、設定した侵入禁止領域、侵入禁止注意領域及び侵入許可領域についての情報を、侵入判定部144に提供する。なお、必ずしも侵入禁止領域、侵入禁止注意領域及び侵入許可領域が全て設定されなくてもよく、これらのうちの少なくともいずれかが設定されればよい。
このように、本実施形態では、手術のセッティングが終了した後、術者が処置を開始する前のタイミングで撮影された周囲画像に基づいて、領域設定部142が侵入適否領域を設定する。この段階で取得された周囲画像は、まさに実際の処置時の状況を反映したものであるであるため、この周囲画像に基づいて侵入適否領域が設定されることにより、より実態に即した適切な侵入適否領域を設定することができる。また、侵入適否領域は、術者201によって任意に設定可能である。実際の手術現場を熟知している術者201によって侵入適否領域が設定されることによって、当該侵入適否領域がより適切に設定され得る。
(処置中における処理)
次に、上記の侵入適否領域の設定処理が行われた後、術者201が術部に対して各種の処置を行っている最中に実行される処理に係る機能について説明する。
次に、上記の侵入適否領域の設定処理が行われた後、術者201が術部に対して各種の処置を行っている最中に実行される処理に係る機能について説明する。
操作認識部160は、ハンズフリー入力装置150から送信される術者201の操作を示す情報に基づいて、当該術者201の操作を認識する。具体的には、操作認識部160は、その機能として、音声認識部161と、視線認識部162と、ヘッドトラック認識部163と、ジェスチャ認識部164と、フットスイッチ操作認識部165と、を有する。
音声認識部161は、マイクロフォン151によって収音された術者201の音声に係る音声信号を解析し、術者201による音声を介した操作を認識する。視線認識部162は、眼鏡型ウェアラブルデバイス152に搭載される視線検出センサよって検出された術者201の視線についての検出結果に基づいて、術者201による視線を介した操作を認識する。ヘッドトラック認識部163及びジェスチャ認識部164は、動作認識用カメラ154によって撮影された術者201の画像を解析することにより、術者201によるヘッドトラック及びジェスチャを介した操作を認識する。フットスイッチ操作認識部165は、フットスイッチ153によって取得された術者201の脚部による操作に係る操作信号に基づいて、術者201によるフットスイッチ153を介した操作を認識する。
操作認識部160によって認識される操作は、動作モードの変更に関するもの、アーム部112の操作に関するもの、及び表示装置120の表示制御に関するものを含む。操作認識部160は、認識した操作が動作モードの変更に関するものである場合には、その操作内容についての情報を、動作モード設定部143に提供する。また、操作認識部160は、認識した操作がアーム部112の操作に関するものである場合には、その操作内容についての情報を、駆動制御部146に提供する。また、操作認識部160は、認識した操作が表示装置120の表示制御に関するものである場合には、その操作内容についての情報を、画像処理部141に提供する。
画像処理部141は、顕微鏡部111によって取得された術部画像についての画像信号に対して、当該術部画像を表示装置120に表示させるための各種の画像処理(例えば、上述した周囲画像に係る画像処理と同様の処理)を行う。そして、画像処理を施した画像信号を表示装置120に送信するとともに、当該画像信号に基づいて表示装置120に術部画像を表示させる。また、画像処理部141は、術者201による操作に応じて、術部画像の代わりに、又は術部画像とともに、手術に関する各種の情報を表示装置120に表示させてもよい。
動作モード設定部143は、操作認識部160から提供される術者201の操作内容についての情報に応じて、アーム部112の動作モードを、手動モード及びハンズフリーモードのいずれかに設定する。動作モード設定部143は、設定した動作モードについての情報を、侵入判定部144及び駆動制御部146に提供する。
侵入判定部144は、動作モード設定部143によって設定された動作モードについての情報、領域設定部142によって設定された侵入適否領域(すなわち、侵入禁止領域、侵入禁止注意領域及び侵入許可領域)についての情報、及びアーム部112から送信されるアーム部112の状態を示す情報(具体的には、各関節部に設けられるエンコーダの検出値)に基づいて、ハンズフリー操作に応じてアーム部112の駆動が制御されている最中に、顕微鏡部111及びアーム部112が侵入適否領域に侵入したかどうかを判定する。ここで、上述したように、制御装置140には、アーム部112の各関節部に設けられるエンコーダの検出値が随時送信されている。侵入判定部144は、当該エンコーダの検出値と、制御装置140に予め入力されているアーム部112の内部モデルと、に基づいて、現在のアーム部112の状態(具体的には、アーム部112の姿勢、並びに顕微鏡部111の位置及び姿勢)を把握することができる。そして、侵入判定部144は、把握した現在のアーム部112の状態と、空間上に設定されている侵入適否領域と、を比較することにより、顕微鏡部111及びアーム部112の侵入適否領域への侵入有無を判定する。
なお、本明細書では、便宜的に、「侵入判定部144が、顕微鏡部111及びアーム部112が侵入適否領域に侵入したかどうかを判定する」と記載しているが、実際には、侵入判定部144は、顕微鏡部111及びアーム部112が侵入適否領域に侵入しそうになった場合に、顕微鏡部111及びアーム部112が侵入適否領域に侵入したと判定してもよい。例えば、侵入判定部144は、顕微鏡部111及びアーム部112と、侵入適否領域との距離が所定のしきい値以下になった場合に、顕微鏡部111及びアーム部112が侵入適否領域に侵入したと判定する。これにより、顕微鏡部111及びアーム部112が侵入適否領域に実際に侵入する前に、後述するアクション指示部145からの指示によって侵入抑制アクションが実行されることとなるため、顕微鏡部111及びアーム部112の侵入適否領域への侵入を、未然に防止することが可能となる。
侵入判定部144は、判定結果についての情報を、アクション指示部145に提供する。なお、侵入判定部144は、手動モードにおいて術者201による直接的な操作に応じてアーム部112の駆動が制御されている場合には、侵入有無の判定処理を行わない。この理由については後述する。
アクション指示部145は、侵入判定部144による判定結果に基づいて、侵入抑制アクションを行う旨の指示を発行する。本実施形態では、アクション指示部145は、顕微鏡部111及びアーム部112の侵入適否領域への侵入の様態に応じて、駆動制御部146及び/又は警告制御部147に対して、異なる侵入抑制アクションに係る指示を発行する。
具体的には、アクション指示部145は、顕微鏡部111及びアーム部112が侵入禁止領域に侵入したと判定された場合には、アーム部112の動きを停止させるように駆動制御部146に対して指示を発行するとともに、アーム部112が侵入禁止領域に侵入した旨の警告を出力するように警告制御部147に対して指示を発行する。これにより、アーム部112が侵入禁止領域に侵入することが強制的に防止されるとともに、警告を受けた術者201等の医療スタッフが適宜適切な処置を取りながら手術を継続することが可能になる。
また、アクション指示部145は、顕微鏡部111及びアーム部112が侵入注意領域に侵入したと判定された場合には、冗長自由度を利用して顕微鏡部111の位置及び姿勢を維持しながら顕微鏡部111及びアーム部112が侵入注意領域を回避するように(すなわち、顕微鏡部111及びアーム部112ができるだけ侵入注意領域に入らないように)当該アーム部112を動作させるように駆動制御部146に対して指示を発行するとともに、アーム部112が侵入注意領域に侵入した旨の警告を出力するように警告制御部147に対して指示を発行する。これにより、顕微鏡部111及びアーム部112が侵入注意領域に侵入することが可能な限り抑制されるとともに、警告を受けた術者201等の医療スタッフが、顕微鏡部111及びアーム部112の動きに注意を払いながら手術を継続することが可能になる。
また、アクション指示部145は、顕微鏡部111及びアーム部112が侵入許可領域に侵入したと判定された場合には、アーム部112が侵入許可領域に侵入した旨の警告を出力するように警告制御部147に対して指示を発行する。これにより、警告を受けた術者201等の医療スタッフが、アーム部112の動きに注意を払い、当該顕微鏡部111及びアーム部112を回避しながら、手術を継続することが可能になる。
なお、アクション指示部145は、動作モードが手動モードであり、侵入判定部144による侵入有無の判定処理が行われていない場合には、侵入抑制アクションに係る処理を行わない。
駆動制御部146は、術者201の操作に応じて、アーム部112の各関節部に設けられているアクチュエータを駆動させることにより、アーム部112の駆動を制御する。侵入判定部144と同様に、駆動制御部146は、アーム部112の各関節部に設けられるエンコーダの検出値と、制御装置140に予め入力されているアーム部112の内部モデルと、に基づいて、現在のアーム部112の姿勢を把握することができる。そして、駆動制御部146は、把握した現在のアーム部112の状態と、操作認識部160によって認識された術者201による操作内容と、に基づいて、術者201による操作に応じた顕微鏡部111の移動を実現するような各関節部に対する制御値を算出し、当該制御値に従って各関節部を駆動させることにより、顕微鏡部111に所望の位置及び姿勢を取らせる、又はアーム部112に所望の姿勢を取らせる。
ここで、駆動制御部146は、アーム部112の駆動制御に際して、動作モードに応じて異なる制御を行う。まず、アーム部112の動作モードが手動モードである場合には、駆動制御部146は、力制御によって、術者201による直接的な操作に応じて顕微鏡部111が移動するようにアーム部112の駆動を制御する。例えば、駆動制御部146は、パワーアシスト制御によってアーム部112を駆動させる。また、この際、駆動制御部146は、アクション指示部145によって指示が発行されていたとしても、当該指示に従った制御は行わず、術者201による直接的な操作に応じてアーム部112を動作させる。
一方、アーム部112の動作モードがハンズフリーモードである場合には、駆動制御部146は、位置制御によって、ハンズフリー入力装置150を介して入力され、操作認識部160によって認識された術者201の操作に応じて顕微鏡部111が移動するように、アーム部112の駆動を制御する。ただし、この際、駆動制御部146は、アクション指示部145によって指示が発行されている場合には、術者201の操作にかかわらず、当該指示に従った制御を行う。
つまり、駆動制御部146は、アーム部112が侵入禁止領域に侵入したと判定された場合には、アクション指示部145からの指示に従い、術者201の操作にかかわらず、アーム部112の移動を停止させる。また、駆動制御部146は、アーム部112が侵入注意領域に侵入したと判定された場合には、アクション指示部145からの指示に従い、術者201の操作にかかわらず、アーム部112ができるだけ侵入注意領域に侵入しないように、顕微鏡部111の位置及び姿勢を維持したまま当該アーム部112の姿勢を変更させる。
警告制御部147は、アクション指示部145からの指示に従って警告出力部180の駆動を制御し、術者201に対してアーム部112が侵入適否領域に侵入した旨の警告を出力させる。なお、警告制御部147は、術者201による任意の操作に応じて、出力させた警告を停止させることができる。
以上、本実施形態に係る手術システム10の機能構成について説明した。以上説明したように、本実施形態によれば、実際の手術室内における顕微鏡部111及びアーム部112の周囲画像に基づいて侵入適否領域が設定され、アーム部112の駆動制御時には、設定された侵入適否領域に対するアーム部112の侵入の有無に応じて、侵入抑制アクションが実行される。手術時には、顕微鏡部111及びアーム部112の周囲の人や物は頻繁に移動し得るため、上述したように、このように実際の状況に応じて侵入適否領域が設定されることにより、より実態に即した適切な侵入適否領域を設定することが可能になる。従って、このようにして設定された侵入適否領域に対するアーム部112の侵入の有無に応じて侵入抑制アクションが実行されることにより、当該侵入抑制アクションもより適切に実行されることとなり、より安全な手術が実現され得る。
ここで、もしもアーム部112が周囲のあらゆる物体と干渉することを防止するように侵入抑制アクションを実行すると、アーム部112が移動可能な範囲が過度に制限されてしまい、円滑な手術の実行が妨げられてしまう恐れがある。これに対して、本実施形態では、アーム部112と干渉し得る物体の様態に応じて、複数の種類の侵入適否領域が段階的に設定される。そして、アーム部112が侵入した侵入適否領域の種類に応じて、異なる侵入抑制アクションが実行される。これにより、アーム部112と周囲の物体との干渉を好適に抑制しつつ、円滑に手術を実行することが可能になる。
また、本実施形態では、アーム部112の動作モードがハンズフリーモードである場合のみ、侵入有無の判定処理が行われ、侵入抑制アクションが実行される。これは、例えば、手動モードでは、術者201が顕微鏡部111又はアーム部112に直接触りながら当該アーム部112を操作するため、当該術者201は、アーム部112の動きを当然に把握しながら、当該アーム部112を操作することとなる。従って、侵入抑制アクションを実行するまでもなく、術者201自身の操作によって、アーム部112と周囲の物体との干渉を回避することができると考えられるため、手動モード時には侵入抑制アクションを実行する必要性が低いからである。むしろ、手動モード時において侵入抑制アクションを実行すると、術者201によるアーム部112の操作が過度に限定されてしまい、術者201の操作性を損ねる恐れもある。
一方、ハンズフリーモードでは、例えば、顕微鏡部111が所望の術部画像が得られるような位置及び姿勢となるように、術者201が表示装置120の表示を見ながらアーム部112を操作する様態が考えられる。つまり、ハンズフリーモードでは、術者201は、アーム部112の動き自体には注意を払っていない可能性が高い。このような場合には、アーム部112が意図せず周囲の物体と接触してしまう恐れがあるため、侵入抑制アクションを実行し、その接触を自動的に抑制する機能が重要となるのである。
このように、本実施形態では、アーム部112の動きを術者201が把握していない可能性が高いハンズフリーモードにおいてのみ侵入抑制アクションを実行することにより、術者201の操作性を損ねることなく、より安全なアーム部112の駆動制御を実現しているのである。
なお、以上説明した機能構成はあくまで一例であり、手術システム10は、以上説明した処理を実行可能であればよく、その機能構成は任意であってよい。例えば、上記の構成例では、侵入適否領域の設定に係る各種の画像(周囲画像、距離情報付き周囲画像、及び領域設定のためのGUIに係る表示画面の画像)が、術部画像が表示される表示装置120に表示されていたが、本実施形態はかかる例に限定されない。手術システム10が、表示装置120とは別個の表示装置を備えるように構成され、これらの侵入適否領域の設定に係る各種の画像は、当該別個の表示装置に表示されてもよい。なお、同一の表示装置120に、侵入適否領域の設定に係る各種の画像と、術部画像とがともに表示され得る場合には、その画像表示の切り替えは、術者201による任意の操作によって行われてよい。
また、上記の構成例では、術者201が処置を行う前に侵入適否領域の設定処理が行われていたが、本実施形態はかかる例に限定されない。例えば、処置を行っている間に周囲の状況が大きく変化した場合には、処置を行っている最中に、侵入適否領域を再設定する処理が行われてもよい。これにより、最新の状況を反映して侵入適否領域が設定され得るため、より適切に侵入適否領域を設定することが可能になる。
また、上記の構成例では、侵入適否領域として、侵入禁止領域、侵入注意領域及び侵入許可領域の3種類の領域が設定されていたが、本実施形態はかかる例に限定されない。侵入適否領域を段階的に設定する際のその段階の分け方は任意であってよい。例えば、
侵入適否領域として、3種類以外の他の数の種類の領域が設定されてもよい。あるいは、侵入適否領域は段階的に設定されなくてもよく、侵入適否領域として1種類の領域が設定されてもよい。
侵入適否領域として、3種類以外の他の数の種類の領域が設定されてもよい。あるいは、侵入適否領域は段階的に設定されなくてもよく、侵入適否領域として1種類の領域が設定されてもよい。
なお、制御装置140の具体的な装置構成は限定されない。制御装置140は、上述した機能を実現するように構成されればよく、その具体的な装置構成は任意であってよい。例えば、制御装置140は、1つの装置として構成されなくてもよく、複数の装置によって構成されてもよい。制御装置140が複数の装置によって構成される場合には、例えば、これら複数の装置に図2にブロックで模擬的に示す機能が分散されて搭載されるとともに、これら複数の装置が互いに通信可能に接続され、互いに協働して動作することにより、制御装置140と同様の機能が実現され得る。
また、図2に示す手術システム10の制御装置140の各機能を実現するためのコンピュータプログラムを作製し、PC等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(2.制御方法)
図6A及び図6Bを参照して、本実施形態に係る制御方法の処理手順について説明する。図6A及び図6Bは、本実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図6A及び図6Bに示す各処理は、上述した図2に示す手術システム10の制御装置140によって実行される処理に対応している。これらの各処理の詳細については、手術システム10の機能構成について説明する際に既に説明しているため、以下の制御方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
図6A及び図6Bを参照して、本実施形態に係る制御方法の処理手順について説明する。図6A及び図6Bは、本実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図6A及び図6Bに示す各処理は、上述した図2に示す手術システム10の制御装置140によって実行される処理に対応している。これらの各処理の詳細については、手術システム10の機能構成について説明する際に既に説明しているため、以下の制御方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
また、図6A及び図6Bに示す一連の処理が実行される前に、手術のセッティングが終了しているものとする。つまり、本実施形態に係る制御方法は、術者201が術部に対する処置をいつでも開始可能な状況まで手術の準備が終了した段階で開始される。
図6A及び図6Bを参照すると、本実施形態に係る制御方法では、まず、周囲画像が取得される(ステップS101)。ステップS101に示す処理は、図2に示す周囲画像取得用カメラ130から、制御装置140の画像処理部141に、周囲画像についての情報が送信される処理に対応している。
次に、侵入適否領域が設定される(ステップS103)。具体的には、ステップS103では、例えば図5に示すGUIを用いた術者201による指示に従って、侵入適否領域として、侵入禁止領域、侵入注意領域及び侵入許可領域が設定される。なお、ステップS103に示す処理は、図2に示す領域設定部142によって実行される処理に対応している。
以上説明したステップS101及びステップS103における処理は、術者201が術部に対する処置を開始する前に実行される処理である。一方、以下に説明するステップS105以降の処理は、術者201が術部に対する処置を開始した後に実行される処理である。
ステップS105では、術者201の操作に応じて、観察装置110のアーム部112の動作モードが設定される。ステップS105に示す処理は、図2に示す動作モード設定部143によって実行される処理に対応している。なお、本実施形態では、ステップS105よりも後に行われる一連の処理の間において、術者201によって、任意のタイミングで、動作モードを変更する旨の指示が入力されてよい。当該指示が入力された場合には、ステップS105に戻り、当該指示に応じた動作モードの設定処理が行われる。
次に、動作モードが判定される(ステップS107)。動作モードが手動モードである場合には、ステップS109に進み、術者201による直接的な操作に応じて、アーム部112の駆動が制御される。この場合には、術者201による制御終了の指示、又は動作モードを変更する旨の指示が入力されるまで、ステップS109の処理が繰り返し実行される(すなわち、手動モードでのアーム部112の駆動制御が続行される)。
一方、動作モードがハンズフリーモードである場合には、ステップS111に進み、術者201によるハンズフリー操作に応じて、アーム部112の駆動が制御される。なお、以上のステップS107~ステップS111に示す処理は、図2に示す駆動制御部146によって実行される処理に対応している。
ステップS111でハンズフリー操作に応じてアーム部112の駆動が制御されている間に、顕微鏡部111及びアーム部112が侵入禁止領域に侵入したかどうかが判定される(ステップS113)。ステップS113に示す処理は、図2に示す侵入判定部144によって実行される処理に対応している。
ステップS113で、アーム部112が侵入禁止領域に侵入したと判定された場合には、アーム部112の動作が停止されるとともに(ステップS115)、顕微鏡部111及びアーム部112が侵入禁止領域に侵入した旨の警告が出力される(ステップS117)。ステップS115及びステップS117に示す処理は、図2に示すアクション指示部145によって発行される指示に従って、駆動制御部146及び警告制御部147が実行する処理に対応している。
ステップS117で警告が出力されると、次に、術者201による動作モードを変更する旨の指示が入力されたかどうかが判定される(ステップS119)。当該指示が入力されない間は、アーム部112の動作が停止されたまま、かつ警告が出力され続けたまま、当該指示があるまで待機する。一方、当該指示が入力された場合には、ステップS105に戻り、当該指示に従って動作モードが再度設定される。この場合には、動作モードがハンズフリーモードから手動モードに変更されることとなるため、ステップS107及びステップS109の処理が実行され、術者201は、直接的な操作によってアーム部112を移動させることが可能になる。この際、動作モードの変更に伴い、警告も停止され得る。つまり、本実施形態では、アーム部112が侵入禁止領域に侵入したと判定され、アーム部112の動作が停止された場合には、動作モードを変更することにより、術者201は、当該アーム部112を移動させ、手術を継続することが可能となる。
これに対して、ステップS113で、顕微鏡部111及びアーム部112が侵入禁止領域に侵入していないと判定された場合には、ステップS121に進み、顕微鏡部111及びアーム部112が侵入注意領域に侵入したかどうかが判定される。ステップS121に示す処理は、図2に示す侵入判定部144によって実行される処理に対応している。
ステップS121で、顕微鏡部111及びアーム部112が侵入注意領域に侵入したと判定された場合には、顕微鏡部111の位置及び姿勢を維持したまま侵入注意領域にできるだけ侵入しないようにアーム部112の姿勢が変更されるとともに(ステップS123)、顕微鏡部111及びアーム部112が侵入注意領域に侵入した旨の警告が出力される(ステップS125)。ステップS123及びステップS125に示す処理は、図2に示すアクション指示部145によって発行される指示に従って、駆動制御部146及び警告制御部147が実行する処理に対応している。
顕微鏡部111及びアーム部112が侵入注意領域に侵入した場合には、術者201は、ハンズフリー操作によるアーム部112の操作を継続することが可能である。従って、ステップS125で警告が出力された後には、ステップS111に戻り、ハンズフリー操作に応じたアーム部112の駆動制御が引き続き実行される。なお、顕微鏡部111及びアーム部112が侵入注意領域に侵入してはいるものの、安全上問題がないと判断され得る場合には、上記警告は、術者201による任意の操作によって適宜停止されてよい。
ステップS121で、顕微鏡部111及びアーム部112が侵入注意領域に侵入していないと判定された場合には、ステップS127に進み、顕微鏡部111及びアーム部112が侵入許可領域に侵入したかどうかが判定される。ステップS127に示す処理は、図2に示す侵入判定部144によって実行される処理に対応している。
ステップS127で、顕微鏡部111及びアーム部112が侵入許可領域に侵入したと判定された場合には、顕微鏡部111及びアーム部112が侵入許可領域に侵入した旨の警告が出力される(ステップS129)。ステップS129に示す処理は、図2に示すアクション指示部145によって発行される指示に従って、警告制御部147が実行する処理に対応している。
顕微鏡部111及びアーム部112が侵入許可領域に侵入している場合及び侵入していない場合ともに、術者201は、ハンズフリー操作によるアーム部112の操作を継続することが可能である。従って、ステップS129で警告が出力された後又はステップS127で顕微鏡部111及びアーム部112が侵入許可領域に侵入していないと判定された場合には、ステップS111に戻り、ハンズフリー操作に応じたアーム部112の駆動制御が引き続き実行される。なお、アーム部112が侵入許可領域に侵入してはいるものの、安全上問題がないと判断され得る場合には、上記警告は、術者201による任意の操作によって適宜停止されてよい。
以上、図6A及び図6Bを参照して、本実施形態に係る制御方法の処理手順について説明した。
(3.変形例)
以上説明した実施形態の一変形例について説明する。図7は、本実施形態の一変形例に係る手術システムの概略構成を示す図である。
以上説明した実施形態の一変形例について説明する。図7は、本実施形態の一変形例に係る手術システムの概略構成を示す図である。
図7を参照すると、本実施形態の一変形例に係る手術システム10aは、観察装置110と、表示装置120aと、周囲画像取得用カメラ130と、制御装置140aと、マイクロフォン151と、フットスイッチ153と、動作認識用カメラ154と、を備える。このように、本変形例に係る手術システム10aは、上述した手術システム10に対して、表示装置120及び制御装置140の構成が変更されるとともに、眼鏡型ウェアラブルデバイス152が設けられないものに対応する。また、術者201に対してマーカ155も設けられない。手術システム10aにおいて、その他の事項については、以上説明した手術システム10と同様である。従って、以下の手術システム10aについての説明では、手術システム10と相違する事項について主に説明し、重複する事項についてはその詳細な説明を省略する。
図示するように、本変形例では、表示装置120aは、比較的術者201から比較的近距離に配置される。例えば、表示装置120aは、患者ベッド203上において、術者201の眼前に配置される。表示装置120aは、裸眼式の3Dディスプレイであり、術者201は眼鏡型ウェアラブルデバイス152等の別途の装置を装着することなく、表示装置120aにおいて立体的に術部を観察することが可能である。
また、この表示装置120aの配置位置に伴い、本変形例では、動作認識用カメラ154も、比較的術者201から近距離に配置される。従って、制御装置140aは、動作認識用カメラ154による撮像画像に基づいて、術者201の視線を検出することができる。また、動作認識用カメラ154と術者201との距離が近いため、マーカ155がなくても、制御装置140aは、動作認識用カメラ154による撮像画像に基づいて、術者201のヘッドトラックを正確に認識することが可能である。
制御装置140aの構成及び機能において、上記の術者201の視線の認識方法及びヘッドトラックの認識方法以外の事項は、図2に示す制御装置140と同様であるため、その説明を省略する。
以上、本実施形態の一変形例に係る手術システム10aの概略構成について説明した。
(4.観察装置の構成例)
以上説明した観察装置110の具体的な一構成例について説明する。図8は、本実施形態に係る観察装置110の一構成例を示す外観図である。なお、図1及び図7に示す概略図では、観察装置110は、患者ベッド203にアーム部112の基端が接続されていたが、図8では、後述する床面と接地するベース部5315を備え、当該ベース部5315にアーム部112の基端が接続される構成例を図示している。また、図8では、一例として、顕微鏡部111の動きに関して6自由度を有するアーム部112を有する観察装置110の構成を示している。ただし、上述したように、観察装置110のアーム部112は、冗長自由度を有するように構成されてもよい。
以上説明した観察装置110の具体的な一構成例について説明する。図8は、本実施形態に係る観察装置110の一構成例を示す外観図である。なお、図1及び図7に示す概略図では、観察装置110は、患者ベッド203にアーム部112の基端が接続されていたが、図8では、後述する床面と接地するベース部5315を備え、当該ベース部5315にアーム部112の基端が接続される構成例を図示している。また、図8では、一例として、顕微鏡部111の動きに関して6自由度を有するアーム部112を有する観察装置110の構成を示している。ただし、上述したように、観察装置110のアーム部112は、冗長自由度を有するように構成されてもよい。
図8を参照すると、観察装置110は、観察対象(患者205の術部)を拡大観察するための顕微鏡部111と、顕微鏡部111を先端で支持するアーム部112と、アーム部112の基端を支持するベース部5315と、観察装置110の動作を統合的に制御する制御装置5317と、を有する。
顕微鏡部111は、略円筒形状の筒状部5305と、当該筒状部5305の内部に設けられる撮像部(図示せず)と、筒状部5305の外周の一部領域に設けられる操作部5307と、から構成される。
筒状部5305の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察光は、当該カバーガラスを通過して、筒状部5305の内部の撮像部に入射する。なお、筒状部5305の内部には例えばLED(Light Emitting Diode)等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、フォーカスレンズ及びズームレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして制御装置5317に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部は、その光学系のフォーカスレンズ及びズームレンズを光軸に沿って移動させる駆動機構を有し得る。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像時の焦点距離及び撮像画像の拡大倍率が調整され得る。また、撮像部には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。ただし、本実施形態はかかる例に限定されず、撮像部は、1つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、1対以上の複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。
操作部5307は、例えば十字レバー又はスイッチ等によって構成され、術者201の操作入力を受け付ける入力手段である。例えば、術者201は、操作部5307を介して、観察像の観察対象までの焦点距離及び拡大倍率を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、焦点距離及び拡大倍率が調整され得る。また、例えば、術者201は、アーム部112の動作モードが手動モードである場合に、操作部5307を介して、その動作モードを、後述するオールフリーモード及び固定モードのいずれかに、更に切り替える旨の指示を入力することができる。なお、手動モードにおいて術者201が顕微鏡部111を移動させようとする場合には、当該術者201は筒状部5305を握るように把持した状態で当該顕微鏡部111を移動させる様態が想定される。従って、操作部5307は、術者201が筒状部5305を移動させている間でも操作可能なように、術者201が筒状部5305を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部112は、複数のリンク(第1リンク5313a~第6リンク5313f)が、複数の関節部(第1関節部5311a~第6関節部5311f)によって互いに回動可能に連結されることによって構成される。
第1関節部5311aは、略円柱形状を有し、その先端(下端)で、顕微鏡部111の筒状部5305の上端を、当該筒状部5305の中心軸と平行な回転軸(第1軸O1)まわりに回動可能に支持する。ここで、第1関節部5311aは、第1軸O1が顕微鏡部111の撮像部の光軸と一致するように構成され得る。これにより、第1軸O1まわりに顕微鏡部111を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第1リンク5313aは、先端で第1関節部5311aを固定的に支持する。具体的には、第1リンク5313aは略L字形状を有する棒状の部材であり、その先端側の一辺が第1軸O1と直交する方向に延伸しつつ、当該一辺の端部が第1関節部5311aの外周の上端部に当接するように、第1関節部5311aに接続される。第1リンク5313aの略L字形状の基端側の他辺の端部に第2関節部5311bが接続される。
第2関節部5311bは、略円柱形状を有し、その先端で、第1リンク5313aの基端を、第1軸O1と直交する回転軸(第2軸O2)まわりに回動可能に支持する。第2関節部5311bの基端には、第2リンク5313bの先端が固定的に接続される。
第2リンク5313bは、略L字形状を有する棒状の部材であり、その先端側の一辺が第2軸O2と直交する方向に延伸しつつ、当該一辺の端部が第2関節部5311bの基端に固定的に接続される。第2リンク5313bの略L字形状の基端側の他辺には、第3関節部5311cが接続される。
第3関節部5311cは、略円柱形状を有し、その先端で、第2リンク5313bの基端を、第1軸O1及び第2軸O2と互いに直交する回転軸(第3軸O3)まわりに回動可能に支持する。第3関節部5311cの基端には、第3リンク5313cの先端が固定的に接続される。第2軸O2及び第3軸O3まわりに顕微鏡部111を含む先端側の構成を回動させることにより、水平面内での顕微鏡部111の位置を変更するように、当該顕微鏡部111を移動させることができる。つまり、第2軸O2及び第3軸O3まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第3リンク5313cは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第3関節部5311cの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第3リンク5313cの基端側は角柱形状を有し、その端部に第4関節部5311dが接続される。
第4関節部5311dは、略円柱形状を有し、その先端で、第3リンク5313cの基端を、第3軸O3と直交する回転軸(第4軸O4)まわりに回動可能に支持する。第4関節部5311dの基端には、第4リンク5313dの先端が固定的に接続される。
第4リンク5313dは、略直線状に延伸する棒状の部材であり、第4軸O4と直交するように延伸しつつ、その先端の端部が第4関節部5311dの略円柱形状の側面に当接するように、第4関節部5311dに固定的に接続される。第4リンク5313dの基端には、第5関節部5311eが接続される。
第5関節部5311eは、略円柱形状を有し、その先端側で、第4リンク5313dの基端を、第4軸O4と平行な回転軸(第5軸O5)まわりに回動可能に支持する。第5関節部5311eの基端には、第5リンク5313eの先端が固定的に接続される。第4軸O4及び第5軸O5は、顕微鏡部111を上下方向に移動させ得る回転軸である。第4軸O4及び第5軸O5まわりに顕微鏡部111を含む先端側の構成を回動させることにより、顕微鏡部111の高さ、すなわち顕微鏡部111と観察対象との距離を調整することができる。
第5リンク5313eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材と、が組み合わされて構成される。第5リンク5313eの第1の部材の鉛直方向に延伸する部位の上端近傍に、第5関節部5311eの基端が固定的に接続される。第5リンク5313eの第2の部材の基端(下端)には、第6関節部5311fが接続される。
第6関節部5311fは、略円柱形状を有し、その先端側で、第5リンク5313eの基端を、鉛直方向と平行な回転軸(第6軸O6)まわりに回動可能に支持する。第6関節部5311fの基端には、第6リンク5313fの先端が固定的に接続される。
第6リンク5313fは鉛直方向に延伸する棒状の部材であり、その基端はベース部5315の上面に固定的に接続される。
第1関節部5311a~第6関節部5311fの回転可能範囲は、顕微鏡部111が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部112においては、顕微鏡部111の動きに関して、並進3自由度及び回転3自由度の計6自由度の動きが実現され得る。このように、顕微鏡部111の動きに関して6自由度が実現されるようにアーム部112を構成することにより、アーム部112の可動範囲内において顕微鏡部111の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部112の構成はあくまで一例であり、アーム部112を構成するリンクの数及び形状(長さ)、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部111を自由に動かすためには、アーム部112は6自由度を有するように構成されることが好ましいが、アーム部112はより大きな自由度(すなわち、冗長自由度)を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部112においては、顕微鏡部111の位置及び姿勢が固定された状態で、アーム部112の姿勢を変更することが可能となる。従って、上述した侵入注意領域に顕微鏡部111及びアーム部112が侵入した場合のように、顕微鏡部111及びアーム部112ができるだけ侵入注意領域に侵入しないように当該アーム部112の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
ここで、第1関節部5311a~第6関節部5311fには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第1関節部5311a~第6関節部5311fに設けられる各アクチュエータの駆動が制御装置5317によって適宜制御されることにより、アーム部112の姿勢、すなわち顕微鏡部111の位置及び姿勢が制御され得る。具体的には、制御装置5317は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部112の現在の状態を把握することができる。制御装置5317は、把握したアーム部112の現在の状態に基づいて、術者201による操作に応じた顕微鏡部111の移動を実現するような各関節部に対する制御値を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。
上述したように、例えば、アーム部112の動作モードが手動モードである場合には、制御装置5317によって、力制御により、術者201による直接的な操作に応じてアーム部112の駆動が適宜制御され、顕微鏡部111の位置及び姿勢が制御される。また、例えば、アーム部112の動作モードがハンズフリーモードである場合には、制御装置5317によって、位置制御により、術者201によるハンズフリー操作に応じてアーム部112の駆動が適宜制御され、顕微鏡部111の位置及び姿勢が制御される。
また、アーム部112は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部111の光軸が空間上の所定の点(以下、ピボット点とも呼称する)を常に向くように、顕微鏡部111を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。
また、第1関節部5311a~第6関節部5311fには、その回転を拘束するブレーキが設けられ得る。当該ブレーキの動作は、制御装置5317によって制御され得る。例えば、顕微鏡部111の位置及び姿勢を固定したい場合には、制御装置5317は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部112の姿勢、すなわち顕微鏡部111の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部111の位置及び姿勢を移動したい場合には、制御装置5317は、各関節部のブレーキを解除し、術者201の操作に応じてアクチュエータを適宜駆動させればよい。
このようなブレーキの動作は、上述した操作部5307を介した術者201による操作に応じて行われ得る。術者201は、顕微鏡部111の位置及び姿勢を移動したい場合には、操作部5307を操作し、各関節部のブレーキを解除させる。これにより、アーム部112の動作モードが、各関節部における回転を自由に行えるモード(オールフリーモード)に移行する。また、術者201は、顕微鏡部111の位置及び姿勢を固定したい場合には、操作部5307を操作し、各関節部のブレーキを作動させる。これにより、アーム部112の動作モードが、各関節部における回転が拘束されたモード(固定モード)に移行する。
制御装置5317は、観察装置110の動作を制御する。例えば、制御装置5317は、術者201の操作に応じて第1関節部5311a~第6関節部5311fのアクチュエータを動作させることにより、アーム部112の駆動を制御する。また、例えば、制御装置5317は、第1関節部5311a~第6関節部5311fのブレーキの動作を制御することにより、アーム部112の動作モードをオールフリーモードと固定モードとの間で変更する。また、例えば、制御装置5317は、観察装置110の顕微鏡部111の撮像部における撮影条件(焦点距離及び拡大倍率)を調整させる。また、例えば、制御装置5317は、観察装置110の顕微鏡部111の撮像部によって取得された画像信号に各種の信号処理を施すとともに、当該画像データに基づいて、術部画像を表示装置120(図8では図示せず)に表示させる。
なお、制御装置5317と顕微鏡部111との通信、及び制御装置5317と第1関節部5311a~第6関節部5311fとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置5317は、CPU、GPU等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。制御装置5317のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置5317は、観察装置110と別個の装置として設けられているが、制御装置5317は、観察装置110のベース部5315の内部に設置され、観察装置110と一体的に構成されてもよい。あるいは、制御装置5317は、複数の装置によって構成されてもよい。例えば、顕微鏡部111や、アーム部112の第1関節部5311a~第6関節部5311fにそれぞれ制御基板等が設けられ、これらが互いに通信可能に接続されることにより、制御装置5317と同様の機能が実現されてもよい。
ここで、制御装置5317は、上述した手術システム10、10aの制御装置140と同一のものであり得る。つまり、制御装置5317は、制御装置140と同様の機能を有し、観察装置110の動作を制御するとともに、手術システム10、10aの動作を統合的に制御してもよい。
以上、本実施形態に係る観察装置110の具体的な一構成例について説明した。
(5.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、術者がハンズフリー操作によってアーム部を操作する際に侵入抑制アクションが行われていたが、本開示に係る技術はかかる例に限定されない。例えば、本開示に係る技術は、マスタースレイブ方式でアーム部が操作される手術システムに対して適用されてもよい。マスタースレイブ方式では、術者がアーム部を遠隔操作するため、ハンズフリー操作時と同様に、術者はアーム部の動きを直接見ることなく、当該アーム部を操作することとなる。従って、本開示に係る技術を適用することにより、同様の効果を得ることができる。このように、本開示に係る技術は、術者がアーム部に非接触な状態で当該アーム部を操作する様態の手術システムに対して、好適に適用され得る。
また、例えば、上記実施形態では、侵入抑制アクションとして、侵入適否領域への侵入を回避するようなアーム部の動作、及び警告の出力が行われていたが、本開示に係る技術はかかる例に限定されない。本開示に係る技術では、侵入抑制アクションは、アーム部の侵入適否領域への侵入を抑制し得るアクションであればよく、その種類は限定されない。例えば、侵入抑制アクションとして、侵入適否領域への侵入を回避するようなアーム部の動作、及び警告の出力のうちのいずれか一方のみが行われてもよい。あるいは、侵入抑制アクションとして、上記警告以外にも、術者に対してアーム部の侵入適否領域への侵入を喚起する種々のアクションが行われてもよい。アーム部の侵入適否領域への侵入を喚起するアクションとしては、例えば、アーム部が侵入適否領域に近付くにつれて、徐々に当該アーム部の動作速度を遅くする等のアクションが考えられる。アーム部の動作速度が遅くなれば、顕微鏡部111の動作速度も遅くなるため、術者が見ている術部画像における視野移動の速度も低下する。術者は、この術部画像における視野移動の速度が遅くなったことによって、アーム部が侵入適否領域に近付いていることを認識することができる。その他、侵入抑制アクションとしては、一般的に支持アーム装置の操作において操作者に対して何らかの注意喚起を行う際に、当該操作者へのフィードバックとして用いられている、あらゆるアクションが採用されてよい。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
医療用器具を支持するアーム部の駆動を制御する駆動制御部と、
前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
制御装置。
(2)
前記侵入抑制アクションは、前記侵入適否領域への侵入を回避するような前記アーム部の動作、及び警告の出力の少なくともいずれかである、
前記(1)に記載の制御装置。
(3)
前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域、の少なくともいずれかを含む、
前記(1)又は(2)に記載の制御装置。
(4)
前記周囲画像は、手術室内の様子を含み、
前記侵入禁止領域は、患者、及び患者ベッドの周囲の手術機器の少なくともいずれかが存在する領域を含む、
前記(3)に記載の制御装置。
(5)
前記周囲画像は、手術室内の様子を含み、
前記侵入注意領域は、前記手術室内に懸架されたケーブル、及び前記手術室内に懸架された布の少なくともいずれかが存在する領域を含む、
前記(3)に記載の制御装置。
(6)
前記周囲画像は、手術室内の様子を含み、
前記侵入許可領域は、医療スタッフが存在する領域を含む、
前記(3)に記載の制御装置。
(7)
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アクション指示部は、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記(3)~(6)のいずれか1項に記載の制御装置。
(8)
前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記アクション指示部は、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記(3)~(7)のいずれか1項に記載の制御装置。
(9)
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、前記アクション指示部は、警告を出力させる旨の指示を発行する、
前記(3)~(8)のいずれか1項に記載の制御装置。
(10)
前記ユーザによる前記アーム部に対する非接触の操作は、前記ユーザが手を用いずに前記アーム部を操作するハンズフリー操作を含み、
前記ハンズフリー操作は、音声、視線、ヘッドトラック、ジェスチャ、及びフットスイッチの少なくともいずれかを介した操作を含む、
前記(1)~(9)のいずれか1項に記載の制御装置。
(11)
前記ユーザによる前記アーム部に対する非接触の操作は、マスタースレイブ方式による前記アーム部の操作を含む、
前記(1)~(9)のいずれか1項に記載の制御装置。
(12)
前記医療用器具は、観察対象を拡大して撮影する電子撮像式の顕微鏡部である、
前記(1)~(11)のいずれか1項に記載の制御装置。
(13)
プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、
ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、
前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、
を含む、
制御方法。
(14)
アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、
前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、
前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、
前記アーム部の駆動を制御する駆動制御部と、
前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
手術システム。
(1)
医療用器具を支持するアーム部の駆動を制御する駆動制御部と、
前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
制御装置。
(2)
前記侵入抑制アクションは、前記侵入適否領域への侵入を回避するような前記アーム部の動作、及び警告の出力の少なくともいずれかである、
前記(1)に記載の制御装置。
(3)
前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域、の少なくともいずれかを含む、
前記(1)又は(2)に記載の制御装置。
(4)
前記周囲画像は、手術室内の様子を含み、
前記侵入禁止領域は、患者、及び患者ベッドの周囲の手術機器の少なくともいずれかが存在する領域を含む、
前記(3)に記載の制御装置。
(5)
前記周囲画像は、手術室内の様子を含み、
前記侵入注意領域は、前記手術室内に懸架されたケーブル、及び前記手術室内に懸架された布の少なくともいずれかが存在する領域を含む、
前記(3)に記載の制御装置。
(6)
前記周囲画像は、手術室内の様子を含み、
前記侵入許可領域は、医療スタッフが存在する領域を含む、
前記(3)に記載の制御装置。
(7)
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アクション指示部は、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記(3)~(6)のいずれか1項に記載の制御装置。
(8)
前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記アクション指示部は、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記(3)~(7)のいずれか1項に記載の制御装置。
(9)
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、前記アクション指示部は、警告を出力させる旨の指示を発行する、
前記(3)~(8)のいずれか1項に記載の制御装置。
(10)
前記ユーザによる前記アーム部に対する非接触の操作は、前記ユーザが手を用いずに前記アーム部を操作するハンズフリー操作を含み、
前記ハンズフリー操作は、音声、視線、ヘッドトラック、ジェスチャ、及びフットスイッチの少なくともいずれかを介した操作を含む、
前記(1)~(9)のいずれか1項に記載の制御装置。
(11)
前記ユーザによる前記アーム部に対する非接触の操作は、マスタースレイブ方式による前記アーム部の操作を含む、
前記(1)~(9)のいずれか1項に記載の制御装置。
(12)
前記医療用器具は、観察対象を拡大して撮影する電子撮像式の顕微鏡部である、
前記(1)~(11)のいずれか1項に記載の制御装置。
(13)
プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、
ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、
前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、
を含む、
制御方法。
(14)
アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、
前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、
前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、
前記アーム部の駆動を制御する駆動制御部と、
前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
手術システム。
10、10a 手術システム
110 観察装置
120、120a 表示装置
130 周囲画像取得用カメラ
140、140a 制御装置
141 画像処理部
142 領域設定部
143 動作モード設定部
144 侵入判定部
145 アクション指示部
146 駆動制御部
147 警告制御部
150 ハンズフリー入力装置
151 マイクロフォン
152 眼鏡型ウェアラブルデバイス
153 フットスイッチ
154 動作認識用カメラ
155 マーカ
160 操作認識部
161 音声認識部
162 視線認識部
163 ヘッドトラック認識部
164 ジェスチャ認識部
165 フットスイッチ操作認識部
170 手動入力装置
180 警告出力部
110 観察装置
120、120a 表示装置
130 周囲画像取得用カメラ
140、140a 制御装置
141 画像処理部
142 領域設定部
143 動作モード設定部
144 侵入判定部
145 アクション指示部
146 駆動制御部
147 警告制御部
150 ハンズフリー入力装置
151 マイクロフォン
152 眼鏡型ウェアラブルデバイス
153 フットスイッチ
154 動作認識用カメラ
155 マーカ
160 操作認識部
161 音声認識部
162 視線認識部
163 ヘッドトラック認識部
164 ジェスチャ認識部
165 フットスイッチ操作認識部
170 手動入力装置
180 警告出力部
Claims (14)
- 医療用器具を支持するアーム部の駆動を制御する駆動制御部と、
前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
制御装置。 - 前記侵入抑制アクションは、前記侵入適否領域への侵入を回避するような前記アーム部の動作、及び警告の出力の少なくともいずれかである、
請求項1に記載の制御装置。 - 前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域、の少なくともいずれかを含む、
請求項1に記載の制御装置。 - 前記周囲画像は、手術室内の様子を含み、
前記侵入禁止領域は、患者、及び患者ベッドの周囲の手術機器の少なくともいずれかが存在する領域を含む、
請求項3に記載の制御装置。 - 前記周囲画像は、手術室内の様子を含み、
前記侵入注意領域は、前記手術室内に懸架されたケーブル、及び前記手術室内に懸架された布の少なくともいずれかが存在する領域を含む、
請求項3に記載の制御装置。 - 前記周囲画像は、手術室内の様子を含み、
前記侵入許可領域は、医療スタッフが存在する領域を含む、
請求項3に記載の制御装置。 - 前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アクション指示部は、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行する、
請求項3に記載の制御装置。 - 前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記アクション指示部は、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行する、
請求項3に記載の制御装置。 - 前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、前記アクション指示部は、警告を出力させる旨の指示を発行する、
請求項3に記載の制御装置。 - 前記ユーザによる前記アーム部に対する非接触の操作は、前記ユーザが手を用いずに前記アーム部を操作するハンズフリー操作を含み、
前記ハンズフリー操作は、音声、視線、ヘッドトラック、ジェスチャ、及びフットスイッチの少なくともいずれかを介した操作を含む、
請求項1に記載の制御装置。 - 前記ユーザによる前記アーム部に対する非接触の操作は、マスタースレイブ方式による前記アーム部の操作を含む、
請求項1に記載の制御装置。 - 前記医療用器具は、観察対象を拡大して撮影する電子撮像式の顕微鏡部である、
請求項1に記載の制御装置。 - プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、
ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、
前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、
を含む、
制御方法。 - アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、
前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、
前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、
前記アーム部の駆動を制御する駆動制御部と、
前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
手術システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17789084.5A EP3449859B1 (en) | 2016-04-28 | 2017-03-06 | Control device, control method and surgical system |
US16/092,235 US11278369B2 (en) | 2016-04-28 | 2017-03-06 | Control device, control method, and surgical system |
JP2018514171A JP6939778B2 (ja) | 2016-04-28 | 2017-03-06 | 制御装置、制御方法及び手術システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016090167 | 2016-04-28 | ||
JP2016-090167 | 2016-04-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017187795A1 true WO2017187795A1 (ja) | 2017-11-02 |
Family
ID=60161516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/008830 WO2017187795A1 (ja) | 2016-04-28 | 2017-03-06 | 制御装置、制御方法及び手術システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11278369B2 (ja) |
EP (1) | EP3449859B1 (ja) |
JP (1) | JP6939778B2 (ja) |
WO (1) | WO2017187795A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10667868B2 (en) | 2015-12-31 | 2020-06-02 | Stryker Corporation | System and methods for performing surgery on a patient at a target site defined by a virtual object |
WO2022168510A1 (ja) * | 2021-02-05 | 2022-08-11 | 川崎重工業株式会社 | 手術支援ロボット、手術支援システムおよび手術支援ロボットの制御方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3261571B1 (en) | 2015-02-25 | 2023-03-08 | Mako Surgical Corporation | Navigation systems and methods for reducing tracking interruptions during a surgical procedure |
US11559365B2 (en) | 2017-03-06 | 2023-01-24 | Intuitive Surgical Operations, Inc. | Systems and methods for entering and exiting a teleoperational state |
WO2018204937A2 (en) | 2017-05-03 | 2018-11-08 | Lsi Solutions, Inc. | Surgical equipment holder |
WO2018204612A1 (en) * | 2017-05-03 | 2018-11-08 | Lsi Solutions, Inc. | Surgical equipment holder |
DE102017011130B4 (de) * | 2017-12-01 | 2021-03-04 | Kuka Deutschland Gmbh | Verfahren und System zum Steuern eines Roboters |
US11625107B2 (en) * | 2019-06-27 | 2023-04-11 | Intuitive Surgical Operations, Inc. | System and method for motion mode management |
KR102315803B1 (ko) * | 2019-12-16 | 2021-10-21 | 쓰리디메디비젼 주식회사 | 의료용 카메라의 거치대 |
JP2021145788A (ja) * | 2020-03-17 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
DE102021102274A1 (de) | 2021-02-01 | 2022-08-04 | B. Braun New Ventures GmbH | Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren |
CN115721417B (zh) * | 2022-09-09 | 2024-01-30 | 苏州铸正机器人有限公司 | 一种手术机器人末端位姿全视野测量装置及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004223128A (ja) * | 2003-01-27 | 2004-08-12 | Hitachi Ltd | 医療行為支援装置および方法 |
JP2011206312A (ja) * | 2010-03-30 | 2011-10-20 | Terumo Corp | 医療用ロボットシステム |
WO2015129473A1 (ja) * | 2014-02-28 | 2015-09-03 | ソニー株式会社 | ロボットアーム装置、キャリブレーション方法及びプログラム |
JP2015188566A (ja) * | 2014-03-28 | 2015-11-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
JP2016512084A (ja) * | 2013-03-13 | 2016-04-25 | ストライカー・コーポレイション | 仮想制約境界を確立するシステム及び方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963792B1 (en) * | 1992-01-21 | 2005-11-08 | Sri International | Surgical method |
US7084867B1 (en) * | 1999-04-02 | 2006-08-01 | Massachusetts Institute Of Technology | Haptic interface system for collision detection and applications therefore |
US7084869B2 (en) * | 2000-03-31 | 2006-08-01 | Massachusetts Institute Of Technology | Methods and apparatus for detecting and correcting penetration between objects |
EP2070487B1 (en) * | 2002-08-13 | 2014-03-05 | NeuroArm Surgical, Ltd. | Microsurgical robot system |
JP2005014108A (ja) | 2003-06-23 | 2005-01-20 | Honda Motor Co Ltd | 多関節ロボットの干渉回避方法 |
JP2011525283A (ja) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | 車両インターフェース用ジェスチャ基準制御システム |
DE102008041602B4 (de) * | 2008-08-27 | 2015-07-30 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Roboter und Verfahren zum Steuern eines Roboters |
US9539058B2 (en) * | 2012-08-24 | 2017-01-10 | University Of Houston System | Robotic device and systems for image-guided and robot-assisted surgery |
US20140320629A1 (en) * | 2013-01-24 | 2014-10-30 | University Of Washington Through Its Center For Commericialization | Haptically-Enabled Co-Robotics for Underwater Tasks |
WO2015135057A1 (en) * | 2014-03-14 | 2015-09-17 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
KR20160033721A (ko) | 2013-07-16 | 2016-03-28 | 세이코 엡슨 가부시키가이샤 | 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 |
DE102013012397B4 (de) * | 2013-07-26 | 2018-05-24 | Rg Mechatronics Gmbh | OP-Robotersystem |
WO2015120008A1 (en) * | 2014-02-05 | 2015-08-13 | Intuitive Surgical Operations, Inc. | System and method for dynamic virtual collision objects |
US10387021B2 (en) * | 2014-07-31 | 2019-08-20 | Restoration Robotics, Inc. | Robotic hair transplantation system with touchscreen interface for controlling movement of tool |
-
2017
- 2017-03-06 JP JP2018514171A patent/JP6939778B2/ja active Active
- 2017-03-06 EP EP17789084.5A patent/EP3449859B1/en active Active
- 2017-03-06 US US16/092,235 patent/US11278369B2/en active Active
- 2017-03-06 WO PCT/JP2017/008830 patent/WO2017187795A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004223128A (ja) * | 2003-01-27 | 2004-08-12 | Hitachi Ltd | 医療行為支援装置および方法 |
JP2011206312A (ja) * | 2010-03-30 | 2011-10-20 | Terumo Corp | 医療用ロボットシステム |
JP2016512084A (ja) * | 2013-03-13 | 2016-04-25 | ストライカー・コーポレイション | 仮想制約境界を確立するシステム及び方法 |
WO2015129473A1 (ja) * | 2014-02-28 | 2015-09-03 | ソニー株式会社 | ロボットアーム装置、キャリブレーション方法及びプログラム |
JP2015188566A (ja) * | 2014-03-28 | 2015-11-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3449859A4 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10667868B2 (en) | 2015-12-31 | 2020-06-02 | Stryker Corporation | System and methods for performing surgery on a patient at a target site defined by a virtual object |
US11103315B2 (en) | 2015-12-31 | 2021-08-31 | Stryker Corporation | Systems and methods of merging localization and vision data for object avoidance |
US11806089B2 (en) | 2015-12-31 | 2023-11-07 | Stryker Corporation | Merging localization and vision data for robotic control |
WO2022168510A1 (ja) * | 2021-02-05 | 2022-08-11 | 川崎重工業株式会社 | 手術支援ロボット、手術支援システムおよび手術支援ロボットの制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US11278369B2 (en) | 2022-03-22 |
JP6939778B2 (ja) | 2021-09-22 |
EP3449859A1 (en) | 2019-03-06 |
US20190328479A1 (en) | 2019-10-31 |
JPWO2017187795A1 (ja) | 2019-03-28 |
EP3449859B1 (en) | 2024-07-03 |
EP3449859A4 (en) | 2019-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017187795A1 (ja) | 制御装置、制御方法及び手術システム | |
EP3266403B1 (en) | Control device, control method, and operating microscope device | |
US20180263710A1 (en) | Medical imaging apparatus and surgical navigation system | |
EP3265008B1 (en) | Surgical tool tracking to control surgical system | |
WO2019087904A1 (ja) | 手術アームシステム及び手術アーム制御システム | |
US11510751B2 (en) | Medical observation apparatus | |
JP7163282B2 (ja) | 医療用観察装置、処理方法、および医療用観察システム | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
US11638000B2 (en) | Medical observation apparatus | |
US20200015655A1 (en) | Medical observation apparatus and observation visual field correction method | |
WO2017169650A1 (ja) | 医療用観察装置、映像移動補正方法及び医療用観察システム | |
WO2018088113A1 (ja) | 関節駆動用アクチュエータ及び医療用システム | |
WO2018100828A1 (ja) | 顕微鏡装置及び制御方法 | |
JP2018107603A (ja) | センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 | |
US20200093545A1 (en) | Control apparatus, control method, and medical observation system | |
US11648082B2 (en) | Medical holding device, and medical observation device | |
CN113015474A (zh) | 用于核实场景特征的系统、方法和计算机程序 | |
US20220190524A1 (en) | Cable and notification method | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
JP2019154886A (ja) | 医療用表示制御装置、および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2018514171 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17789084 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017789084 Country of ref document: EP Effective date: 20181128 |