Tetsuya Ogata / 尾形哲也
@tetsuyaogata1
Followers
3K
Following
5K
Media
312
Statuses
1K
早稲田大学教授 / 産業技術総合研究所特定フェロー / 国立情報学研究所客員教授 / Professor, Waseda University / Joint-appointed Fellow, AIST / Visiting Professor, NII
Joined February 2018
End to end, autonomous whole body motion generation. You can see this demo in “live”(not video) at ICRA2024.
5
29
176
ChatGPTの成功には、OpenAIが「大量データ学習のみによるロボティクス研究」の"難しさ"を認識し撤退した後で、言語基盤モデルの研究と活用に集中した、という背景があると思っています。.
2
172
813
Now, our paper is published in Science Robotics (2021 IF=23.748).
#DeepLearning and manual training taught a #robot to open a door successfully more than 96% of the time, completing 15 rounds of back-and-forth in 30 minutes. @tetsuyaogata1 @Hitachi_Japan @HitachiGlobal @waseda_univ @tetsuyaogata1.📎:
6
54
253
お恥ずかしいことに全く知らなかったのですが、今年のCoRLは、Rejectされる内容として「Simulatorのみで動く強化学習手法」というのが明記されたのですね。.# 個人的にずっと主張し続けていたことですが、やっと本当のAIロボットの発展がはじまるのだと思います。.
1
68
218
本日11/12のJAXAの特別公開で我々の深層予測学習を用いて頂いたデモが初公開になっています。動画はリアルタイム。.Today, 11/12, a demonstration using our deep predictive learning is being shown for the first time at JAXA's Open House.
4
49
213
学習を目指した遠隔操縦が一気に来てますね。自分のNextageのタオル畳みの時から考えていた方向性とはいえ、進み出すと早い。。。.全てをそのまま自律化できるかはわかりませんが、今年は大きな進展がありそう。.
3
33
147
日本ロボット学会誌Vol.40, No.9として「予測に基づくロボットの動作学習」特集号が発刊されました。.深層予測学習を中心とした特集号で、私は展望を執筆させて頂きました。自分の研究において大変重要なマイルストーンになったと感じております。.
1
46
145
これは認識系が主ですが、とてもいい研究だと思いました。.1. 仮想世界を"実環境に近づけるのではなく"、世界の"粗い"構造を学習させるのに用いている.2. 入力画像からsemantic画像やdepth画像を"生成"学習.3. （個人の好みですが）active light sensorではなく、ステレオ視を使っている.
Excited to present our work at #CoRL2021 this week. Our paper shows a promising approach to achieve sim2real transfer for perception. w/ @ToyotaResearch @berkeley_ai (1/7) .
0
40
142
様々な思惑もあるのでしょうが、「今後の進歩はモデルをさらに大きくすることでは達成できない」というのは本音だろうと思っています。.
1
27
140
産総研のロボット基盤モデル研究のアップデート。RoboManipBaselinesのVersion2です。.
最新の模倣学習（SARNN, ACT, DiffusionPolicy）をシミュレーションや実世界のロボットで再現検証できるソフトウェア "RoboManipBaselines" の Version 2 を公開しました！ .🚀 Project Page: 📝 GitHub: 🤗 Hugging Face:
0
20
141
産総研の室岡雅樹さんを中心としたメンバーが開発された "RoboManipBaselines" が公開されました。.最新の模倣学習手法である、ACT, DiffusionPolicy、そして我々の深層予測学習モデル（SARNN）をシミュレーションや実世界のロボットで簡単に再現検証できます。.
最新の模倣学習 (SARNN, ACT, DiffusionPolicy) をシミュレーションや実世界のロボットで簡単に再現検証できるソフトウェア "RoboManipBaselines" を公開しました！学習データセットや学習済みモデルも一部公開しています！.Githubリポジトリ：
0
33
131
東京ロボティクス株式会社を訪問してきました。.関節インピーダンス制御、バイラテラル遠隔操縦とも大変よく動いていました。これからプロジェクト推進を進めていきます。
0
17
121
すごい。.強化学習（シミュレーション）を"環境やタスクのモデル化ではなく"、低レベルの身体動作の学習にのみ利用しているのがアイデア。.シミュレーションの限界を把握した上での上手い活用法だと思う。.
Our 6ft humanoid HumanPlus at Stanford can autonomously put on a Nike skateboard shoe, tie shoelaces, stand up and walk. Using two transformers & dual RGB vision, it integrates two recipes of general robotics end-to-end:.- imitating humans in real world.- large-scale RL in sim
1
31
123
Our collaborating research with Hitachi, Ltd. "Real-time Motion Generation and Data Augmentation for Grasping Moving Objects with Dynamic Speed and Position Changes".Dynamic motion generation by Deep Predictive Learning.
1
24
115
大規模言語モデルは確かにすごいですが、だからこそロボティクスとの融合が必要だ、という妄想をNII所長の黒橋禎夫先生と語ってみました。.
0
35
114
本日の要務先、ムーンショットシンポジウム@未来館.End2End動作生成。動画ではなく、ライブでご覧いただけますます。
3
17
114
東大松尾研&早大尾形研の相互研究室見学会を行いました。.両研究室に関係する、トヨタ、日立、ソニー、富士通など多くの企業の方々にも参加頂きました。.懇親会は、大隈庭園前のカフェテリアで実施しました。
0
7
112
This is an autonomous operation by our deep predictive learning, not a remote control. RA-Letter, 2018.
3
25
108
Preferred Networks, Preferred Roboticsの皆さんに訪問頂きました。
1
5
106
本日4/8の14:00に公開となりました。.新規CREST領域「実環境知能システムを実現する基礎理論と基盤技術の創出」の研究総括を務めさせて頂くこととなりました。.詳細な説明は4/15に行います。どうぞ宜しくお願い致します。.
1
25
107
改めてこの度、CREST領域総括を仰せつかりました。期せずしてAIロボット協会（AIRoA）理事長と重なることになりましたが、この二つの重大な要務を兼ねることができること、大変に光栄なことだと思っております。1/n.
1
7
107
AIREC-Basicが日立から納品されました。.仕様設計とカバーデザインの段階から参画させて頂きました。.扱いやすい教示インタフェースを利用して、高品質な人のスキル操作データを収集し、End-to-Endのロボット基盤モデル研究を進めていきます。
1
26
105
国際ロボット展、早稲田大学 次世代ロボット研究機構（E7-24）で公開のスーツのハンガー掛けデモです。私は明日11/30以降現場に行く予定でいます。
1
12
102
@s_kajita 「雑用」ができるロボットができた時に初めて「汎用AI」への道筋が見えると思ってます．.「審査員に一向に理解されない」．．．確かに．．．審査員の方によるとは思ってはいますが．.
1
27
97
今現在の最新技術をもってして、ロボットが家庭内タスクを遂行することがとんでもなく難しいことを説明した良記事です。.だからこそ、これ自体がまさに「ムーンショット」の課題になるのだと思っております。.
0
25
99
Our paper won the Best Paper Award for "Cognitive Robotics" of IEEE ICRA 2021!.- N. Saito, T. Ogata, S. Funabashi, H. Mori, and S. Sugano: How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning.
0
22
96
Sim2Realは相当難しい，と普段，言っているのですが，これは凄い．見事にシミュレーター内の学習だけで，"実機"の素晴らしいパフォーマンスを実現しています．.シミュレーターで再現できる物体間の接触状態には限界がある，という問題を十分に考慮した手法だと思います．.
強化学習でここまでいけるとは。すげー.
2
25
99
@shosakaino @__tmats__ @KohHosoda 高性能すぎない適切なハードを十分に準備して、必要なデータをそれなりの量揃える、ということが最低限の"前準備"、ということは6, 7年前から主張しているんですが、それすらなかなかできないということはありますね。。。.
0
17
98
面白い研究だと思いました。.自然言語研究では言語からスタートするので、“Language”と“World”の“separating”が重要になるとのこと。.ロボット研究では、もともと“Language”と“World”は別に存在するので、どう“grounding”するかが研究課題となるのですが。.
GPT-3のわずか4%の重みで、GPT-3と同程度の性能を叩き出した「RETRO」(OpenAI)についての解説記事( @JayAlammar)がわかりやすかったです。. RETROは、巨大なデータベースから最適な情報を取ってくるように学習されており、パラメータ数を大きく抑えています。頭良すぎます。
1
14
100
日刊工業新聞に掲載いただきました。.最後の「失敗してもいい仕事」は、いい表現ではないですが、物体配置、服折り畳み、拭き掃除、ボルト締め、など「一度でできなくても、何度かやり直せばできる仕事」という意味です。.
1
21
98
以下の論文がScientific Reportsに採択されました。.ロボットに搭載されたLLMが、動作計画を生成する際に、計画の不確実性を自ら評価した上で、ユーザーに質問を行う、という内容です。この「質問行為」も能動的推論の一つだと考えています。.
0
16
96
音声、音響研究で世界的に著名なカーネギーメロン大学准教授（そして早大OB）の @shinjiw_at_cmu 先生に来訪いただきました。音声、環境音など、マルチモーダル基盤モデルに重要なトピックについてお話をお伺いしました。
0
16
90
令和5年度科学技術分野の文部科学大臣表彰科学技術賞（研究部門）を受賞いたしました。これまでご協力いただいた皆様に感謝いたします。.
5
4
90
Our research progress for #RAL #IROS2022."Deep Active Visual Attention for Real-Time Robot Motion Generation: Emergence of Tool-Body Assimilation and Adaptive Tool-Use".@tetsuyaogata1 @HirokiMori.Paper:
0
19
86
今年の人工知能学会WS「感情とAI」の続きの企画，ということで招待いただきました．よろしくお願いいたします．.リンクは以下です．.
0
20
84
RSJ2024初日。トヨタ、早稲田、東大、信州大、九工大、など若手の集まりに参加させて頂きました。
0
7
83
End-to-end autonomy, All neural network, in 2022.
#DeepLearning and manual training taught a #robot to open a door successfully more than 96% of the time, completing 15 rounds of back-and-forth in 30 minutes. @tetsuyaogata1 @Hitachi_Japan @HitachiGlobal @waseda_univ @tetsuyaogata1.📎:
2
9
79
自由エネルギー原理に基づいた感覚減衰のメカニズムに関する論文がScientific Reportsに掲載されました。.Our paper about the mechanism of sensory attenuation based on the free energy principle has been published in Scientific Reports.
1
14
76
1/n 我々の過去の研究では、“左”や“右”など文法上、類似した品詞、単語表現の扱いは、言語の学習だけでは曖昧になる、という知見がありました。.しかしGPT-4は、画像の学習をしてない場合でも、空間に関する質問に答えたり、図形を描画ソフトで描いたりできるとのこと。.
1
15
76
Our collaborating research with AIST for #IROS2023."Force Map: Learning to Predict Contact Force Distribution from Vision".Realtime contact force prediction using only simulation learning.
1
10
74
今月のロボット学会誌の解説記事を書きました．.パターンとラベルのセットの"データ"ではなく，感覚と運動が融合した身体の"経験"を学習の対象にする「エクスペリエンス・ベースド・ロボティクス」がキーワードです．.NEDOプロのハンドブック，JST CRDSの戦略提案にもこの表現を記載頂いています．.
1
17
69
IROS宣伝3。RALより。人間の遠隔操作と模倣学習の実時間での予測信頼度を利用した協調動作。.T. Hara, T. Sato, T. Ogata, and H. Awano: Uncertainty-aware Haptic Shared Control with Humanoid Robots for Flexible Object Manipulation
0
11
68
IROS2023にてKeynote Talkを行います。.I'll give a keynote at IROS 2023.
1
6
67
面白いですね。.何回か書きましたが、.「仮想世界を"実環境に近づける"のではなく、世界の"粗い"構造の事前学習に用いる」.というアプローチが大事と思ってます。.
(1/4) Can sim2robot transfer be improved by *decreasing* simulation fidelity? .Surprisingly, yes! .Research by FAIR and @gtcomputing finds that nav policies trained with *lower* fidelity physics sim resulted in *higher* zero-shot sim2real transfer on @BostonDynamics Spot. 🧵👇
0
8
65
共著に入れて頂いたCVPR2022論文（ @HirokatuKataoka さん、 @n_chiba_ さんの仕事）のプレスリリースです。.以前も書きましたが、.「仮想世界を"実環境に近づける"のではなく、世界の"粗い"構造の事前学習に用いる」.というアプローチが大事と思ってます。.
1
10
64
私としては、深層予測学習を載せて販売できればと思っています。（ちなみに一号機を開発した時期は、まだムーンショットと日立の連携許可を頂いてない段階だったので、日立のロゴだけ貼ってあります。二号機からムーンショットのロゴも貼ってあります。）.
1
20
63
日立との共同研究、ドア開けから３年が経ちましたが、最新の成果が公開になりました。.1) 変形した布製バッグのジッパーの把持と開け動作.2) 照明変化や動作中の物体移動に対応可能な把持動作.3) 未学習な単語組み合わせを含む短文指示理解.
2
18
61
Hatsukiのデモ in Wonder Festival 2023 at 幕張メッセに行ってきました。学生達の頑張りの大きな区切りです。.翼（？）に加えて、ChatGPTによる対話と感情表現を装備したバージョンです。こういった機能が、人間共存ロボットに共有できると考えています。
0
14
61
We now release "EIPL", an OSS for deep predictive learning. 深層予測学習のOSS、"EIPL"を公開します。.
1
18
60
Our research on humanoid robot AIREC at #MOONSHOT Goal 3 .“Realtime Motion Generation with Active Perception Using Attention Mechanism for Cooking Robot”.@namikosaito_.
1
15
57
JAXAにお伺いしました。.自分の研究が宇宙に繋がる可能性があるとは想像もしていませんでした。これからを楽しみにしています。
1
4
59
Preferred Networks との共同研究が、日本ロボット学会欧文誌Advanced RoboticsのBest Paper award (1件) を受賞しました。.
Advanced Robotics Best Paper Awardを受賞しました!!.早稲田大学尾形研との共同研究論文です。.論文：Learning-based Collision-free Planning on Arbitrary Optimization Criteria in the Latent Space through cGANs.@tetsuyaogata1 @HirokiMori @hillbig
2
4
56
SII2024にて、日立と連携した研究(伊藤洋さん発表)がBest Paper finalistに選ばれ、また社会人博士の一藁秀行さんの研究がSIYA-SII2024受賞となりました。.Banquet会場にて、General ChairのVan Ho先生と記念写真。
1
6
54
End-to-end learning, for taking laundries in. You can see this demo in “live”(not video) at ICRA2024.
1
13
52
加藤真平（@ShinpeiKato）さんにお誘い頂き、CMUを訪れています。Katerina Fragkiadaki教授の講演を拝聴した後、お部屋を訪問しました。私からはAIRoAなどの活動を紹介しました。 その後、 皆さんと日本食で夕食をとった時の写真です。靴を履いての掘り炬燵は違和感がありましたが、美味しかったです。
0
6
54
チャック開け動作の学習などをしてくれた、一藁秀行さんの学位授与の記念写真です。例年、秋の授与式は出張等で参加できなかったのですが、今年は行くことができました。.博士号を出せるのが、大学教員の一番の醍醐味だなと思っております。
0
2
54
Our paper is selected for the cover of the journal.
0
14
54
ホントです。.
例えば、現在の深層学習につながるニューラルネットワーク研究。20年前には当時の主流研究者の多くから馬鹿にされ鼻であしらわれていたのだ。ホントだよ！. #過小評価されているロボット工学分野.
0
6
52
私が顧問を務めるエクサウィザーズによる深層予測学習を活用した提案が、JAXAの有人宇宙拠点内クルー作業の自動化・自律化技術の検討対象に採用されました。.
1
7
48
5/18、応用脳科学コンソーシアム キックオフシンポジウムに、乾敏郎先生、 @TakuyaIsomura 氏、 @kanair_jp 氏、とともに登壇いたします。詳細は下記リンクからご確認ください。.
0
21
48
技術的に凄いのは確かに全身制御だけど（改めてすごい）、素朴でもグリッパーで「物理世界に変更を加える」というロボット本来の機能がやはりとても大事だな、と感じさせるデモ。.
ボストン・ダイナミクスのAtlasがグリッパをつけたっていう新しい動画ができたみたいで見たら、一番すごいのそこじゃなかった。.
1
10
48
次週も引き続き出演します。.
🎨 #小峠英二のなんて美だ！🎨. 5月6日(火)🕛24時～.テーマは #ロボット🤖. スタジオにAIロボットが登場！.2050年の世界はどうなっているのか🌏. ぜひご覧ください📺. #なんて美だ #小峠英二 #バイきんぐ.#中谷日出 #池田瑛紗 #乃木坂46 #ラバーガール
0
6
47
昨日7/8に京大大学院で情報工学展望の講義を行いました。例年お呼び頂いています。ホストをして下さっている河原達也先生、また今年から工学研究科教授になられた 吉井 和佳 先生と一緒に。
2
2
44
『ロボット工学ハンドブック（第3版）』が、2月15日に刊行となります。第2版から18年ぶりの改訂とのことです。.僭越ながらIII編主査を務めさせて頂きました。執筆者の皆様に本当に感謝いたします。.
0
16
44
FBでのreplyから．.データ空間ならこれだけ色々なことができるAI（深層学習）が，何故ロボットにはそのまま使えないのか，を考えることが，AIを本質的に革新させると考えています．.
1
10
42
了承頂いたのでアップ。.Woven by Toyotaの内部イベントのKeynoteで呼んで頂きました。非常にレベルの高い質問を多く頂きました。また拝聴させて頂いたtalkも皆、流石という感じでした。
0
5
43
今月の人工知能学会誌（Vol.38, No.4）、表紙のAIマップに我々のタオル折り畳みデモが出てます（予測している映像が描かれてます）。
0
9
41